图像重建模型的训练方法和虚拟场景渲染方法技术

本申请涉及一种基于人工智能技术的图像重建模型的训练方法和虚拟场景渲染方法。所述图像重建模型的训练方法包括：获取低分辨率样本图像和相应的标准高分辨率样本图像；通过生成网络对低分辨率样本图像进行解码，得到解码特征，并根据解码特征生成模拟高分辨率样本图像；通过判别网络，提取模拟高分辨率样本图像中的高频信息，得到高频特征图，以及通过判别网络提取模拟高分辨率样本图像中的低频信息，得到低频特征图；融合高频特征图和低频特征图，得到模拟高分辨率图像；基于模拟高分辨率图像和标准高分辨率样本图像，对图像重建模型进行对抗训练，以得到训练好的图像重建模型。采用本方法能够合理优化低分辨率贴图资源。采用本方法能够合理优化低分辨率贴图资源。采用本方法能够合理优化低分辨率贴图资源。

【技术实现步骤摘要】
图像重建模型的训练方法和虚拟场景渲染方法


[0001]本申请涉及图像处理
，特别是涉及一种图像重建模型的训练方法和虚拟场景渲染方法。

技术介绍

[0002]虚拟场景的呈现往往是通过渲染预先绘制好的贴图来展示材质纹理等效果。高分辨率的贴图能够包含更多的图像细节，因此为了呈现更加真实细腻的虚拟场景，往往会使用更高分辨率的贴图资源。
[0003]传统技术中通过对贴图进行高分辨率重建的方式将低分辨率的贴图转换为高分辨率的贴图。然而这种方式通常是对贴图整体全局提高分辨率，虽然提升了贴图的整体视觉效果，但同时牺牲了硬件性能，导致需要使用的CPU（Central Processing Unit，中央处理器）和GPU（GraphicsProcessing Unit，图形处理器）等硬件资源呈指数倍增加。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种能够合理优化低分辨率贴图资源的图像重建模型的训练方法、装置、计算机设备、计算机可读存储介质和计算机程序产品，以及虚拟场景渲染方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
[0005]一方面，本申请提供了一种图像重建模型的训练方法。所述方法包括：获取低分辨率样本图像和相应的标准高分辨率样本图像；通过图像重建模型中的生成网络对所述低分辨率样本图像进行解码处理，得到解码特征，并根据所述解码特征生成模拟高分辨率样本图像；通过所述图像重建模型中的判别网络，提取所述模拟高分辨率样本图像中的高频信息，得到高频特征图，以及通过所述判别网络提取所述模拟高分辨率样本图像中的低频信息，得到低频特征图；融合所述高频特征图和所述低频特征图，得到模拟高分辨率图像；基于所述模拟高分辨率图像和所述标准高分辨率样本图像，对所述图像重建模型进行对抗训练，以得到训练好的图像重建模型；其中，所述训练好的图像重建模型中的生成网络，用于提升输入的图像的分辨率。
[0006]另一方面，本申请还提供了一种图像重建模型的训练装置。所述装置包括：获取模块，用于获取低分辨率样本图像和相应的标准高分辨率样本图像；生成模块，用于通过图像重建模型中的生成网络对所述低分辨率样本图像进行解码处理，得到解码特征，并根据所述解码特征生成模拟高分辨率样本图像；判别模块，用于通过所述图像重建模型中的判别网络，提取所述模拟高分辨率样本图像中的高频信息，得到高频特征图，以及通过所述判别网络提取所述模拟高分辨率样本图像中的低频信息，得到低频特征图；融合模块，用于融合所述高频特征图和所述低频特征图，得到模拟高分辨率图像；
训练模块，用于基于所述模拟高分辨率图像和所述标准高分辨率样本图像，对所述图像重建模型进行对抗训练，以得到训练好的图像重建模型；其中，所述训练好的图像重建模型中的生成网络，用于提升输入的图像的分辨率。
[0007]另一方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述图像重建模型的训练方法的步骤。
[0008]另一方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述图像重建模型的训练方法的步骤。
[0009]另一方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述图像重建模型的训练方法的步骤。
[0010]上述图像重建模型的训练方法、装置、计算机设备、存储介质和计算机程序产品，通过获取低分辨率样本图像和相应的标准高分辨率样本图像，并通过图像重建模型中的生成网络对低分辨率样本图像进行解码处理，得到解码特征，并根据解码特征生成模拟高分辨率样本图像，从而实现通过生成网络生成“假的”高分辨率样本图像；再通过图像重建模型中的判别网络，提取模拟高分辨率样本图像中的高频信息，得到高频特征图，以及通过判别网络提取模拟高分辨率样本图像中的低频信息，得到低频特征图，通过不同的通道来分别提取样本图像中的高频信息和低频信息，能够对样本图像进行有针对性地优化训练；再融合所得到的高频特征图和低频特征图，得到模拟高分辨率图像，并基于模拟高分辨率图像和标准高分辨率样本图像，对图像重建模型进行对抗训练，判别网络能够用于对生成网络的训练进行约束，最终得到训练好的图像重建模型。由此，训练好的图像重建模型中的生成网络即可用于提升输入的图像的分辨率，实现对低分辨率图像的分辨率重建。并且，通过以设置高频通道和低频通道的判别网络对抗训练得到的生成网络，来对输入的图像的分辨率进行优化，能够对图像中的高频部分和低频部分进行区别性地提升，能够在提升重建图像的分辨率、提高图像的视觉效果的同时，避免额外的硬件资源的消耗，降低了对处理器的资源占用。
[0011]另一方面，本申请还提供了一种虚拟场景渲染方法。所述方法包括：获取用以对虚拟场景进行渲染的初始贴图；将所述初始贴图输入至图像重建模型的生成网络中，通过所述生成网络输出与所述初始贴图相对应的高分辨率重建贴图；预测通过所述初始贴图渲染所述虚拟场景所耗费的第一资源消耗，以及预测通过所述高分辨率重建贴图渲染所述虚拟场景所耗费的第二资源消耗；在所述第一资源消耗与所述第二资源消耗间的差异满足预设差异条件的情况下，通过所述高分辨率重建贴图渲染所述虚拟场景。
[0012]另一方面，本申请还提供了一种虚拟场景渲染装置。所述装置包括：获取模块，用于获取用以对虚拟场景进行渲染的初始贴图；生成模块，用于将所述初始贴图输入至图像重建模型的生成网络中，通过所述生成网络输出与所述初始贴图相对应的高分辨率重建贴图；预测模块，用于预测通过所述初始贴图渲染所述虚拟场景所耗费的第一资源消
耗，以及预测通过所述高分辨率重建贴图渲染所述虚拟场景所耗费的第二资源消耗；渲染模块，用于在所述第一资源消耗与所述第二资源消耗间的差异满足预设差异条件的情况下，通过所述高分辨率重建贴图渲染所述虚拟场景。
[0013]另一方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述虚拟场景渲染方法的步骤。
[0014]另一方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述虚拟场景渲染方法的步骤。
[0015]另一方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述虚拟场景渲染方法的步骤。
[0016]上述虚拟场景渲染方法、装置、计算机设备、存储介质和计算机程序产品，通过获取用以对虚拟场景进行渲染的初始贴图，并将该初始贴图输入至图像重建模型的生成网络中，通过预先训练好的该生成网络输出与初始贴图相对应的高分辨率重建贴图，该高分辨率重建贴图即为该初始贴图的高分辨率版本。通过预测通过初始贴图渲染虚拟场景所耗费的第一资源消耗，以及预测通过高分辨率重建贴图渲染本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像重建模型的训练方法，其特征在于，所述方法包括：获取低分辨率样本图像和相应的标准高分辨率样本图像；通过图像重建模型中的生成网络对所述低分辨率样本图像进行解码处理，得到解码特征，并根据所述解码特征生成模拟高分辨率样本图像；通过所述图像重建模型中的判别网络，提取所述模拟高分辨率样本图像中的高频信息，得到高频特征图，以及通过所述判别网络提取所述模拟高分辨率样本图像中的低频信息，得到低频特征图；融合所述高频特征图和所述低频特征图，得到模拟高分辨率图像；基于所述模拟高分辨率图像和所述标准高分辨率样本图像，对所述图像重建模型进行对抗训练，以得到训练好的图像重建模型；其中，所述训练好的图像重建模型中的生成网络，用于提升输入的图像的分辨率。2.根据权利要求1所述的方法，其特征在于，所述通过图像重建模型中的生成网络对所述低分辨率样本图像进行解码处理，得到解码特征，并根据所述解码特征生成模拟高分辨率样本图像，包括：将所述低分辨率样本图像输入至所述生成网络中的首层网络层，并通过所述首层网络层中的多个感知器分别进行解码处理，输出多个初始的处理结果；将所述多个初始的处理结果输入至下一层网络层，并通过所述下一层网络层中的多个感知器分别进行解码处理，直至进行多个轮次的解码处理后，由末层网络层输出最终的处理结果；其中，所述多个轮次中的当前轮次输出的解码特征，是基于前一轮次输出的解码特征生成得到的；对所述最终的处理结果进行重建处理，得到模拟高分辨率样本图像。3.根据权利要求1所述的方法，其特征在于，所述通过所述图像重建模型中判别网络，提取所述模拟高分辨率样本图像中的高频信息，得到高频特征图，包括：确定所述图像重建模型中判别网络中设置的至少一个高频通道，并确定所述至少一个高频通道各自对应的第一过滤器；分别基于与所述至少一个高频通道各自对应的所述第一过滤器对所述模拟高分辨率样本图像进行低频信息的过滤处理，得到所述至少一个高频通道各自对应的第一通道特征图；对所述至少一个高频通道各自对应的第一通道特征图进行融合，得到高频特征图。4.根据权利要求1所述的方法，其特征在于，所述通过所述判别网络中提取所述模拟高分辨率样本图像中的低频信息，得到低频特征图，包括：确定所述图像重建模型中判别网络中设置的至少一个低频通道，并确定与所述至少一个低频通道各自对应的第二过滤器；分别基于与所述至少一个低频通道各自对应的所述第二过滤器对所述模拟高分辨率样本图像进行高频信息的过滤处理，得到所述至少一个低频通道各自对应的第二通道特征图；对所述至少一个低频通道各自对应的第二通道特征图进行融合，得到低频特征图。5.根据权利要求1所述的方法，其特征在于，所述基于所述模拟高分辨率图像和所述标准高分辨率样本图像，对所述图像重建模型进行训练，以得到训练好的图像重建模型，包
括：将所述标准高分辨率样本图像输入至所述图像重建模型中判别网络，得到真实高分辨率图像；基于所述模拟高分辨率样本图像和所述标准高分辨率样本图像间的差异，构建与所述生成网络对应的第一损失函数，并基于所述模拟高分辨率图像和所述真实高分辨率图像间的差异，构建与所述判别网络对应的第二损失函数；基于所述第一损失函数和第二损失函数，对所述图像重建模型进行训练，直至所述生成网络与所述判别网络满足均衡约束条件，得到训练好的图像重建模型。6.根据权利要求5所述的方法，其特征在于，所述均衡约束条件包括最小化基于所述第一损失函数得到的损失，以使得所述生成网络所生成的模拟高分辨率图像与所述标准高分辨率样本图像间的差异最小化；且最大化基于所述第二损失函数得到的损失，以使得所述判别网络所输出的所述模拟高分辨率图像和所述真实高分辨率图像间的差异最大化。7.根据权利要求1所述的方法，其特征在于，所述得到模拟高分辨率图像之后，所述方法还包括：通过对所述模拟高分辨率样本图像进行升维处理，以使所述模拟高分辨率样本图像的维度与所述标准高分辨率样本图像的维度一致；其中，所述升维处理包括插值处理或上采样处理中的至少一种。8.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取待测试的低分辨率图像；将所述待测试的低分辨率图像输入至所述训练好的图像重建模型，并通过所述图像重建模型中的生成网络生成高分辨率重建图。9.根据权利要求8所述的方法，其特征在于...

【专利技术属性】
技术研发人员：徐东，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：