【技术实现步骤摘要】
本专利技术属于图形学真实感渲染领域，尤其涉及一种基于神经网络的时序梯度域渲染方法及系统。
技术介绍
1、本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
2、蒙特卡罗光线追踪方法是全局光照算法的一种，由于其灵活性和通用性，在许多领域得到了广泛的应用；追求真实的照片级图像质量的渲染是目前影视制动领域的最核心的一种技术，称为真实感渲染；真实感渲染可以使三维影视动漫作品更加的逼真，表现出与现实生活中同样的真实性效果；真实感渲染主要包括了全局光照算法、特效模拟等关键技术。全局光照算法实现了不只渲染光源对物体的照射效果，还渲染了光能在物体与物体之间的传播效果，包括色溢、焦散、环境遮挡等。
3、梯度域渲染方法是一种使用空间相关性进行优化的蒙特卡洛光线追踪方法。该方法在计算图像颜色通道的基础上，还额外计算图像的水平梯度通道和垂直梯度通道，这些高频细节为图像重建提供了约束，从而允许筛选泊松方程(screened poisson so lver)产生更好的结果。
4、由于图像重建本质上是一个优化迭代问题，添加更多的约束有利于问题的解决。因此，越来越多的辅助特征开始被引入重建过程。这些新的约束无疑优化了重建图像的质量，但它们也显著增加了图像渲染和重建的时间和资源消耗。同时，现有方法也存在收敛缓慢、低spp(每像素样本数)下的显著图像噪声和高spp上的昂贵支出的问题。
技术实现思路
1、针对现有的梯度域渲染方法由于光线的随机发射和反弹而出现
2、为实现上述目的，本专利技术的一个或多个实施例提供了如下技术方案：
3、本专利技术第一方面提供了一种基于神经网络的时序梯度域渲染方法。
4、一种基于神经网络的时序梯度域渲染方法，待渲染的场景数据包括连续的图像帧，对每一帧进行如下处理：
5、渲染器追踪当前帧中光线与场景的交点，记录追踪过程中这些交点的通道信息，包括当前帧的颜色通道、梯度通道和辅助特征通道和运动向量通道；
6、利用颜色通道和运动向量道构建当前帧的时序映射通道，并添加到当前帧的通道信息中；
7、将预处理后的通道信息输入到预训练完成的神经网络中，输出的重建图像作为当前帧的渲染结果；
8、利用时序帧间反馈机制，使得当前帧的重建图像通过重映射的方式，对下一帧的时序映射通道进行更新。
9、进一步的，所述图像帧，通过渲染引擎可以识别的摄像机、几何体、光源、材质和贴图信息来表征。
10、进一步的，所述渲染器追踪当前帧中光线与场景的交点，具体为：
11、从场景正前方的摄像机，向场景内发射光线，通过摄像机和屏幕空间的联系确定光线方向，通过一个像素发射预设个数的光线，追踪这些光线；
12、以光线与场景的交点为着色点进行后续的处理。
13、进一步的，所述记录追踪过程中这些交点的通道信息，具体为：
14、当光线与非镜面反射表面相交时，保存当前命中着色点数据；
15、当光线与镜面反射表面相交时，忽视当前命中着色点，并继续追踪光线直至与非镜面反射表面相交，保存当前非镜面反射表面着色点数据。
16、进一步的，所述辅助特征通道包括法线、反射率方向和深度；
17、所述运动向量通道，用于帧间的运动计算。
18、进一步的，所述预处理为：
19、将每一帧各种通道数据按照像素进行对齐，通过重映射的方式使用运动向量为下一帧生成初始的时序映射通道数据，然后将各个通道叠加构成指定大小的数据矩阵。
20、进一步的，所述神经网络，设置具有四项子损失项的损失函数，所述子损失项包括颜色通道损失项、梯度通道损失项、一阶特征损失项和感知损失项。
21、本专利技术第二方面提供了一种基于神经网络的时序梯度域渲染系统。
22、一种基于神经网络的时序梯度域渲染系统，待渲染的场景数据包括连续的图像帧，用于对每一帧进行渲染，包括光线追踪模块、预处理模块、图像重建模块和时序反馈模块：
23、光线追踪模块，被配置为：渲染器追踪当前帧中光线与场景的交点，记录追踪过程中这些交点的通道信息，包括当前帧的颜色通道、梯度通道和辅助特征通道和运动向量通道；
24、预处理模块，被配置为：利用颜色通道和运动向量道构建当前帧的时序映射通道，并添加到当前帧的通道信息中；
25、图像重建模块，被配置为：将预处理后的通道信息输入到预训练完成的神经网络中，输出的重建图像作为当前帧的渲染结果；
26、时序反馈模块，被配置为：利用时序帧间反馈机制，使得当前帧的重建图像通过重映射的方式，对下一帧的时序映射通道进行更新。
27、本专利技术第三方面提供了计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本专利技术第一方面所述的一种基于神经网络的时序梯度域渲染方法中的步骤。
28、本专利技术第四方面提供了电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本专利技术第一方面所述的一种基于神经网络的时序梯度域渲染方法中的步骤。
29、以上一个或多个技术方案存在以下有益效果：
30、本专利技术提出了基于神经网络的时序梯度域渲染方法，时序帧间反馈机制将时序信息应用到梯度域渲染中，从而在梯度域渲染原有的空间连续性基础上进一步强化了时间稳定性，从而减少了最终重建结果的噪声，获得了更高质量的渲染图像。在时序帧间反馈机制中，时序信息由渲染器输出，通过运动向量的形式将当前帧的高质量结果映射为下一帧，从而为下一帧的重建工作额外提供了高质量的输入；反馈机制提供的数据将和当前帧数据经过加权计算后产生最终的输入数据，其权重参数同样由网络进行训练，从而获得自适应的优化效果。
31、本专利技术的神经网络模型损失函数包含了四个子损失项，使得神经网络可以从不同的维度对训练结果进行更全面的评价；其中既包含了相对具体的像素级损失项，也包含了较为抽象的特征层损失项，同时还引入了感知损失项作为全局的结构性评价；多维度的损失函数设计进一步优化了神经网络的收敛速度，同时强化了最终重建的质量。
32、本专利技术附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
本文档来自技高网...【技术保护点】
1.一种基于神经网络的时序梯度域渲染方法，其特征在于，待渲染的场景数据包括连续的图像帧，对每一帧进行如下处理：
2.如权利要求1所述的一种基于神经网络的时序梯度域渲染方法，其特征在于，所述图像帧，通过渲染引擎可以识别的摄像机、几何体、光源、材质和贴图信息来表征。
3.如权利要求1所述的一种基于神经网络的时序梯度域渲染方法，其特征在于，所述渲染器追踪当前帧中光线与场景的交点，具体为：
4.如权利要求1所述的一种基于神经网络的时序梯度域渲染方法，其特征在于，所述记录追踪过程中这些交点的通道信息，具体为：
5.如权利要求1所述的一种基于神经网络的时序梯度域渲染方法，其特征在于，所述辅助特征通道包括法线、反射率方向和深度；
6.如权利要求1所述的一种基于神经网络的时序梯度域渲染方法，其特征在于，所述预处理为：
7.如权利要求1所述的一种基于神经网络的时序梯度域渲染方法，其特征在于，所述神经网络，设置具有四项子损失项的损失函数，所述子损失项包括颜色通道损失项、梯度通道损失项、一阶特征损失项和感知损失项。
8
9.一种电子设备，其特征是，包括：
10.一种存储介质，其特征是，非暂时性地存储计算机可读指令，其中，当所述非暂时性计算机可读指令由计算机执行时，执行权利要求1-7任一项所述方法的指令。
...【技术特征摘要】
1.一种基于神经网络的时序梯度域渲染方法，其特征在于，待渲染的场景数据包括连续的图像帧，对每一帧进行如下处理：
2.如权利要求1所述的一种基于神经网络的时序梯度域渲染方法，其特征在于，所述图像帧，通过渲染引擎可以识别的摄像机、几何体、光源、材质和贴图信息来表征。
3.如权利要求1所述的一种基于神经网络的时序梯度域渲染方法，其特征在于，所述渲染器追踪当前帧中光线与场景的交点，具体为：
4.如权利要求1所述的一种基于神经网络的时序梯度域渲染方法，其特征在于，所述记录追踪过程中这些交点的通道信息，具体为：
5.如权利要求1所述的一种基于神经网络的时序梯度域渲染方法，其特征在于，所述辅助特征通道包括法线、反射率方向和深度；
6...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。