一种核预测神经网络蒙特卡罗渲染图像去噪方法技术

本发明专利技术公开了一种核预测神经网络蒙特卡罗渲染图像去噪方法，包括步骤：1)利用改进的核预测神经网络进行预测核的生成；2)利用改进的对抗生成网络进行蒙特卡罗渲染图像的初步去噪；3)利用步骤1)、2)当中的两个结果进行蒙特卡罗渲染图像的重建，预测核将会被应用到初步去噪的蒙特卡罗渲染图像当中，并重建出去噪后的蒙特卡罗渲染图像；4)使用一种新的损失函数对核预测神经网络和对抗生成网络进行训练；5)训练完成后，再次重复步骤1)到步骤3)，即可对带噪声的蒙特卡罗渲染图像进行去噪重建，最后获得一张高质量的、细节完好的蒙特卡罗渲染图像。本发明专利技术去噪效果更好，场景细节和场景结构保留好，去噪时间短，可适应低采样率和多种渲染器、渲染系统。

【技术实现步骤摘要】
一种核预测神经网络蒙特卡罗渲染图像去噪方法
本专利技术涉及计算机图形学当中的三维场景图像离线渲染及深度学习图像处理领域，尤其是指一种基于GAN边缘与细节感知的核预测神经网络蒙特卡罗渲染图像去噪方法。
技术介绍
在全局光照的渲染技术上，基于蒙特卡罗(MonteCarlo)积分方法的渲染技术已经在计算机动画、游戏以及视觉产品上上面广泛应用。基于蒙特卡罗计分方法的渲染技术可以有效的估计一个场景下的光照度(Radiance)，是一个有偏差的方法，但由于对光照路径进行的是随机采样过程，因此采样过程中会无可避免的产生误差，这些误差最后会导致渲染出来的图像当中产生噪声点，也称为蒙特卡罗渲染噪声。这种噪声与普通图像噪声不同，不同的像素之间具有很强的差异性，因此传统的处理图像噪声的方法在处理蒙特卡罗渲染噪声时表现较差。为了减少产生的噪声点，使渲染的图像更加真实，基于蒙特卡罗积分方法的渲染技术往往需要花费大量的渲染时间并设置高采样率(sampleperpixel)去产生一张具有真实感的渲染图像，而渲染的时间越少，采样率越低，则产生的噪声则会越多，这也为实际的工业制本文档来自技高网...

【技术保护点】
1.一种核预测神经网络蒙特卡罗渲染图像去噪方法，其特征在于，包括以下步骤：/n1)利用改进的核预测神经网络进行预测核的生成，该核预测神经网络以带噪声的蒙特卡罗渲染图像所对应的辅助信息图像作为输入，所述辅助信息图像有法向量图像、深度图像、反照率图像、漫反射图像和高光图像，并针对蒙特卡罗渲染图像中的每个像素输出一个预测核；/n2)利用改进的对抗生成网络进行蒙特卡罗渲染图像的初步去噪，该对抗生成网络以带噪声的RGB蒙特卡罗渲染图像作为输入，并输出一张初步去噪的RGB图像结果；/n3)利用步骤1)和步骤2)当中的两个结果进行蒙特卡罗渲染图像的重建，即利用步骤1)所产生的预测核对由步骤2)生成的初步去噪...

【技术特征摘要】
1.一种核预测神经网络蒙特卡罗渲染图像去噪方法，其特征在于，包括以下步骤：
1)利用改进的核预测神经网络进行预测核的生成，该核预测神经网络以带噪声的蒙特卡罗渲染图像所对应的辅助信息图像作为输入，所述辅助信息图像有法向量图像、深度图像、反照率图像、漫反射图像和高光图像，并针对蒙特卡罗渲染图像中的每个像素输出一个预测核；
2)利用改进的对抗生成网络进行蒙特卡罗渲染图像的初步去噪，该对抗生成网络以带噪声的RGB蒙特卡罗渲染图像作为输入，并输出一张初步去噪的RGB图像结果；
3)利用步骤1)和步骤2)当中的两个结果进行蒙特卡罗渲染图像的重建，即利用步骤1)所产生的预测核对由步骤2)生成的初步去噪图像进行更进一步的图像重建，获得完全去噪后的蒙特卡罗渲染图像；
4)使用一种新的损失函数对核预测神经网络和对抗生成网络进行协同训练，该损失函数能够使得两个网络协同工作，并完好保留场景细节和场景结构，从而使得这两个网络成为一个端到端的整体结构；
5)训练完成后，再次重复步骤1)到步骤3)，即可对带噪声的蒙特卡罗渲染图像进行去噪重建，最后获得一张高质量的、细节完好的蒙特卡罗渲染图像。


2.根据权利要求1所述的一种核预测神经网络蒙特卡罗渲染图像去噪方法，其特征在于，在步骤1)中，所述核预测神经网络的结构分为三个部分，分别为源信息编码器、特征信息编码器和核预测器；该核预测神经网络结构以蒙特卡罗渲染图像所对应的辅助信息图像作为输入，所述辅助信息图像有法向量图像、深度图像、反照率图像、漫反射图像和高光图像，其中，所述漫反射图像和高光图像是将蒙特卡罗渲染图像当中的漫反射颜色以及高光颜色单独提取出来制成的图像，代表图像的像素颜色当中的中漫反射以及高光的部分；
所述源信息编码器是一个神经网络结构，包含三层零填充的核大小为3×3的卷积层，每层卷积层的输出通道数量为64，滑动步长为1，在每一层卷积层后面，使用Leaky-Relu作为激活函数；通过三层的卷积层能够有效地从不同输入当中提取一个底层的、具有共通信息的特征映射，进而能够构建一个动态组装的网络结构，如果输入的蒙特卡罗渲染图像来源于与训练集数据不同的渲染系统，则只需要将这个源信息编码器的参数重新训练，并将后端的网络结构参数固定即可；
所述特征信息编码器是以源信息编码器的输出作为输入，该特征信息编码器包含一个类U型网络的结构，其所采用的网络结构实际上是一个编码解码器的对称结构，并额外加入了跳跃结构，所述跳跃结构实际上是将输入与输出使用联合的方法相连接起来；所述类U型网络分为编码和解码部分，其编码部分包含9层卷积层，前3层卷积层各输出的通道数为128，中间3层卷积层各输出的通道数为256，最后3层卷积层各输出的通道数为512，每层卷积层后面使用Batch-Normalization进行归一化，并使用Leaky-Relu作为激活函数，第3个卷积层与第4个卷积层及第6个卷积层与第7个卷积层使用下采样连接；所述解码部分拥有与编码部分相对称的结构，在编码部分中，其第3个卷积层和第6个卷积层分别会通过跳跃结构来将它们与解码部分的第1个卷积层和第3个卷积层通过上采样后的输出进行联合；所述特征信息编码的整个网络结构的每一层卷积层使用的是零填充的核大小为3×3的卷积层，滑动步长为1，同时每一层卷积层后面都使用Leaky-Relu作为激活函数，而网络当中的下采样使用2×2的最大池化方法，而上采样则使用双线性插值的方法；
所述核预测器是针对蒙特卡罗渲染图像中的每一个像素输出一个预测核，核的大小为21×21，包含441个权重值，所述核预测器包含两个卷积层，每个卷积层使用零填充的核大小为1×1的卷积核，滑动步长为1，每层卷积层的输出通道数为441。


3.根据权利要求1所述的一种核预测神经网络蒙特卡罗渲染图像去噪方法，其特征在于，在步骤2)中，所述对抗生成网络以带噪声的RGB蒙特卡罗渲染图像作为输入，其网络结构分为两部分，一个是生成器，另一个是判别器；
所述生成器分为三部分，第一部分为编码...

【专利技术属性】
技术研发人员：许家荣，李桂清，聂勇伟，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44