基于神经网络的随机渐近式光子映射图像降噪方法及系统技术方案

本发明专利技术公开了基于神经网络的随机渐近式光子映射图像降噪方法及系统，包括：获取三维场景，基于随机渐进式光子映射生成待降噪图像，包括基于全局光子的渲染图像和基于焦散光子的渲染图像；将基于全局光子的渲染图像，输入到预训练的第一多重残差神经网络中，输出全局光子降噪图像；将基于焦散光子的渲染图像，输入到预训练的第二多重残差神经网络中，输出焦散光子降噪图像；将全局光子降噪图像和焦散光子降噪图像进行合成，得到最终的渲染图像。

【技术实现步骤摘要】
基于神经网络的随机渐近式光子映射图像降噪方法及系统
本公开涉及图像真实感渲染
，特别是涉及基于神经网络的随机渐近式光子映射图像降噪方法及系统。
技术介绍
本部分的陈述仅仅是提到了与本公开相关的
技术介绍
，并不必然构成现有技术。随机渐进式光子映射是一种被广泛使用的基于物理的真实感渲染方法，可以有效模拟真实世界中的光与物体相互作用后产生的焦散等复杂光学效果，是一种内存友好的光子映射和渐进式光子映射的改良方法。然而，作为一个有偏的渲染方法，在选取了不合适的场景渲染参数或者渲染迭代次数不足时，随机渐进式光子映射常常因此时偏差和方差偏大而产生低质量的结果。且若想得到高质量、无噪声的结果，往往需要大量的时间进行渲染。通过去除渲染结果中的噪声，同时维持重要的光照特征和锐利的光照细节，使得低质量的渲染结果变为高质量的渲染结果，这一过程就是降噪。要在有限的时间成本内取得高质量的渲染结果，降噪是一种可行的手段。近期，基于神经网络的降噪技术在无偏的渲染方法降噪上取得了成功，但仍未应用到有偏的渲染方法降噪上。由于无偏的渲染方法中只存在方差问题，应用于它的降噪技术也只需要解决偏大的方差，而有偏的渲染技术，如随机渐进式光子映射，同时存在方差和偏差两个问题。专利技术人发现，偏差在随机渐进式光子映射最终的渲染结果上表现为漫反射表面上的低频的大尺度噪声，方差则表现为光滑表面上的高频的小尺度噪声。随机渐进式光子映射的这一特殊性质将多尺度的噪声引入了同一张渲染结果，加大了降噪的难度。
技术实现思路
为了解决现有技术的不足，本公开提供了基于神经网络的随机渐近式光子映射图像降噪方法及系统；能够有效地处理随机渐进式光子映射的渲染结果中的多尺度噪声，同时在降噪时保持焦散等重要的光照特征和锐利的光照细节。第一方面，本公开提供了基于神经网络的随机渐近式光子映射图像降噪方法；基于神经网络的随机渐近式光子映射图像降噪方法，包括：获取三维场景，基于随机渐进式光子映射生成待降噪图像，待降噪图像包括基于全局光子的渲染图像和基于焦散光子的渲染图像；将基于全局光子的渲染图像，输入到预训练的第一多重残差神经网络中，输出全局光子降噪图像；将基于焦散光子的渲染图像，输入到预训练的第二多重残差神经网络中，输出焦散光子降噪图像；将全局光子降噪图像和焦散光子降噪图像进行合成，得到最终的渲染图像。第二方面，本公开提供了基于神经网络的随机渐近式光子映射图像降噪系统；基于神经网络的随机渐近式光子映射图像降噪系统，包括：数据生成模块模块，其被配置为：获取三维场景，基于随机渐进式光子映射生成待降噪图像，待降噪图像包括基于全局光子的渲染图像和基于焦散光子的渲染图像；降噪模块，其被配置为：将基于全局光子的渲染图像，输入到预训练的第一多重残差神经网络中，输出全局光子降噪图像；将基于焦散光子的渲染图像，输入到预训练的第二多重残差神经网络中，输出焦散光子降噪图像；合成模块，其被配置为：将全局光子降噪图像和焦散光子降噪图像进行合成，得到最终的渲染图像。第三方面，本公开还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述的方法。第四方面，本公开还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述的方法。与现有技术相比，本公开的有益效果是：本公开利用基于神经网络的降噪框架，首先实现对有偏渲染方法随机渐进式光子映射的降噪；在神经网络中使用带有不同尺寸卷积核的多重残差格，能够有效地处理随机渐进式光子映射渲染结果中的多尺度噪声，从而保证渲染结果的质量。充分利用预处理模块与后处理模块，能够增加神经网络训练过程的稳定性。本公开将随机渐进式光子映射的渲染结果分为基于全局光子的渲染结果和基于焦散光子的渲染结果两个成分，分别使用降噪框架中的两个神经网络进行处理，可以保持焦散等重要的光照特征，避免矛盾的降噪约束。本公开将辅助特征缓存与渲染结果一并作为神经网络的输入，可以提供给网络更多渲染时的信息，从而能够有效保持锐利的光照细节。附图说明构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。图1是本公开实施例1提供的一种基于神经网络的随机渐进式光子映射的降噪方法的流程图；图2是本公开实施例1提供的一种准备训练数据示意图；图3(a)-图3(g)是本公开实施例1提供的三维场景示例图；图4是本公开实施例1提供的训练所述神经网络示意图；图5是本公开实施例1提供的降噪进行示意图；图6(a)-图6(l)是本公开实施例1提供的辅助特征缓存示意图；图7是本公开实施例1提供的降噪框架使用示意图；图8是本公开实施例1提供的多重残差神经网络示意图；图9是本公开实施例1提供的多重残差格示意图。具体实施方式应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属
的普通技术人员通常理解的相同含义。需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。实施例一，本实施例提供了基于神经网络的随机渐近式光子映射图像降噪方法；基于神经网络的随机渐近式光子映射图像降噪方法，包括：S100：获取三维场景，基于随机渐进式光子映射生成待降噪图像，待降噪图像包括基于全局光子的渲染图像和基于焦散光子的渲染图像；S200：将基于全局光子的渲染图像，输入到预训练的第一多重残差神经网络中，输出全局光子降噪图像；将基于焦散光子的渲染图像，输入到预训练的第二多重残差神经网络中，输出焦散光子降噪图像；S300：将全局光子降噪图像和焦散光子降噪图像进行合成，得到最终的渲染图像。作为一个或多个实施例，在得到基于全局光子的渲染图像步骤之后，在将基于全本文档来自技高网...

【技术保护点】
1.基于神经网络的随机渐近式光子映射图像降噪方法，其特征是，包括：/n获取三维场景，基于随机渐进式光子映射生成待降噪图像，待降噪图像包括：基于全局光子的渲染图像和基于焦散光子的渲染图像；/n将基于全局光子的渲染图像，输入到预训练的第一多重残差神经网络中，输出全局光子降噪图像；将基于焦散光子的渲染图像，输入到预训练的第二多重残差神经网络中，输出焦散光子降噪图像；/n将全局光子降噪图像和焦散光子降噪图像进行合成，得到最终的渲染图像。/n

【技术特征摘要】
1.基于神经网络的随机渐近式光子映射图像降噪方法，其特征是，包括：
获取三维场景，基于随机渐进式光子映射生成待降噪图像，待降噪图像包括：基于全局光子的渲染图像和基于焦散光子的渲染图像；
将基于全局光子的渲染图像，输入到预训练的第一多重残差神经网络中，输出全局光子降噪图像；将基于焦散光子的渲染图像，输入到预训练的第二多重残差神经网络中，输出焦散光子降噪图像；
将全局光子降噪图像和焦散光子降噪图像进行合成，得到最终的渲染图像。


2.如权利要求1所述的方法，其特征是，在得到基于全局光子的渲染图像步骤之后，在将基于全局光子的渲染图像，输入到预训练的多重残差神经网络中步骤之前，还包括：对全局光子的渲染图像进行归一化处理和对数变换处理；
在得到基于焦散光子的渲染图像步骤之后，在将基于焦散光子的渲染图像，输入到预训练的多重残差神经网络中步骤之前还包括：对焦散光子的渲染图像进行归一化处理和对数变换处理。


3.如权利要求1所述的方法，其特征是，在输出全局光子降噪图像步骤之后，在将全局光子降噪图像和焦散光子降噪图像进行合成步骤之前，还包括：对全局光子降噪图像进行指数变换处理；
在输出焦散光子降噪图像步骤之后，在将全局光子降噪图像和焦散光子降噪图像进行合成步骤之前，还包括：对焦散光子降噪图像进行指数变换处理。


4.如权利要求1所述的方法，其特征是，所述第一多重残差神经网络，具体结构包括：
依次连接的多重残差提取模块、核预测模块和加权重建模块；
所述多重残差提取模块，包括：
依次连接的第一卷积层、第一整流线性单元、第二卷积层、若干个串联的多重残差格单元、第三卷积层和第一批归一化层；
第二卷积层的输出端与第一批归一化层的输出端均与第一求和单元的输入端连接，第一求和单元的输出端与核预测模块的输入端连接；
或者，
所述多重残差格单元，包括：第一分支和第二分支；
其中，第一分支，包括：依次连接的第四卷积层、第二批归一化层、第二整流线性单元、第五卷积层、第三批归一化层、concatenate函数层和第二求和单元；第二求和单元的输入端与第四卷积层的输入端连接；
其中，第二分支，包括：依次连接的第六卷积层、第四批归一化层、第三整流线性单元、第七卷积层和第五批归一化层；第六卷积层的输入端与第四卷积层的输入端连接，第五批归一化层的输出端与concatenate函数层的输入端连接；
其中，所述多重残差格单元的输入端为第四卷积层和第六卷积层，所述多重残差格单元的输出端为第二求和单元的输出端；
或者，
所述核预测模块，包括：
依次连接的第八卷积层、第四整流线性单元和第九卷积层，其中第八卷积层与多重残差神经网络的加和单元的输出端连接，第九卷积层与加权重建模块的输入端连接；
或者...

【专利技术属性】
技术研发人员：王璐，曾峥，徐延宁，康春萌，王贝贝，孟祥旭，
申请(专利权)人：山东大学，
类型：发明
国别省市：山东;37