一种基于深度学习网络的实时光照渲染算法制造技术

本发明专利技术公开了一种基于深度学习网络的全局光照条件下的实时渲染算法,包括训练阶段和运行阶段；训练阶段包括以下步骤：S1、生成器网络结构的确定；S2、鉴别器网络结构的确定；S3、样本数据收集；S4、神经网络训练；运行阶段的过程是：将渲染缓存作为输入样本输入生成器网络获得输出结果，然后对输出结果进行像素着色，生成全局光照条件下的渲染结果，从而代替传统的复杂渲染计算，实现实时渲染。本发明专利技术通过对多个渲染缓存和同一视角下的光子映射结果进行对抗神经网络训练，并使用网络输出结果作为包括直接光照和间接光照的全局光照条件下像素着色中的光照提示，使用对抗网络训练的最终结果更准确有效。

A Real-time Illumination Rendering Algorithm Based on Deep Learning Network

The invention discloses a real-time rendering algorithm under global illumination conditions based on deep learning network, including training stage and operation stage; training stage includes the following steps: determination of S1, generator network structure; determination of S2, discriminator network structure; collection of S3, sample data; training of S4 and neural network; the process of running stage is: rendering buffer is used as input sample. The input generator network obtains the output results, and then colors the output results with pixels to generate the rendering results under global illumination conditions, thus replacing the traditional complex rendering calculation to achieve real-time rendering. The invention trains the anti-neural network by using multiple rendering buffers and photon mapping results from the same perspective, and uses the network output results as illumination hints in the pixel shading under the global illumination conditions including direct and indirect illumination, so that the final result of the anti-network training is more accurate and effective.

【技术实现步骤摘要】
一种基于深度学习网络的实时光照渲染算法
本专利技术涉及实时光照渲染算法
，尤其涉及一种基于深度学习网络的实时光照渲染算法。
技术介绍
现有的一些能够实现实时全局光照渲染的方法，主要有基于光线追踪的渲染方法、基于物理的渲染方法以及基于数据驱动的渲染算法。实现全局光照的基本思路是基于物理和几何结构计算光线在场景表面的反弹情况。光线追踪通过在视线方向对每个像素投射光线实现，每个像素采样根据光线与表面碰撞和光线碰撞后的反弹结果，可以实现间接照明。后来的光子映射方法是光线追踪逆过程，通过追踪光源反射的光线收集光线照射表面构建光照贴图。这两种技术都可以实现真实的全局照明，但是需要进行大量的计算，单帧渲染通常需要耗时几小时。传统的全局光照（GlobalIllumination,GI）渲染方法，包括基于几何结构的近似方法和屏幕空间的后处理方法。基于几何结构的近似方法需要预先计算好光在几何结构表面的传输情况或者对几何结构体进行体素化后，才能进行实时的光线传输计算。屏幕空间的后处理方法可以从延迟渲染处理器获得准确动态的全局光照结果。但是由于需要巨大的计算资源，现有方法只能实现有限次的间接光照反弹结本文档来自技高网...

【技术保护点】
1.一种基于深度学习网络的实时光照渲染算法，其特征在于，包括训练阶段和运行阶段；训练阶段包括以下步骤：S1、生成器网络结构确定：生成器网络采用基于U‑Net结构的CNN模型结构，输入样本通过6层降采样单元和6层升采样单元生成输出结果，每个降采样单元包含一个卷积层，一个激活层和一个降采样层，每个升采样单元包含一个卷积层，一个激活层和一个升采样层；S2、鉴别器网络结构确定：鉴别器网络采用基于图像分类的CNN模型结构。输入数据的格式与生成器的输出相同，依次通过两个卷积层和降采样层连接到三个全连接层上，输出标量作为鉴别的结果，其中0代表生成结果，1代表实际样本。；S3、样本数据收集：选择3D场景中的某...

【技术特征摘要】
1.一种基于深度学习网络的实时光照渲染算法，其特征在于，包括训练阶段和运行阶段；训练阶段包括以下步骤：S1、生成器网络结构确定：生成器网络采用基于U-Net结构的CNN模型结构，输入样本通过6层降采样单元和6层升采样单元生成输出结果，每个降采样单元包含一个卷积层，一个激活层和一个降采样层，每个升采样单元包含一个卷积层，一个激活层和一个升采样层；S2、鉴别器网络结构确定：鉴别器网络采用基于图像分类的CNN模型结构。输入数据的格式与生成器的输出相同，依次通过两个卷积层和降采样层连接到三个全连接层上，输出标量作为鉴别的结果，其中0代表生成结果，1代表实际样本。；S3、样本数据收集：选择3D场景中的某个点，逐步旋转摄像机获得非全局光照条件下的渲染结果，并以高动态范围格式存储渲染缓存，获得输入样本。在相同视点对场景进行全局光照下的光子映射，将获得的光子映射结果作为输出样本。；S4、神经网络训练：首先将输入样本输入到生成器网络中，将输出结果输入到鉴别器网络中进行GAN训练，计算生成器的结构相似性损失函数，对鉴别器网络的鉴别成果与真实图片进行交叉熵损失函数训练，计算鉴别器的交叉熵损失函数，并输出一个标量作为鉴别结果，然后对生成器的结构相似性损失函数与鉴别器的交叉熵损失函数执行迭代计算训练自定义损失函数，在训练过程中需要删除所有流失层；运行阶段的过程是：将渲染缓存输入样本输入生成器网络获得屏幕空间光照图的输出结果，然后对输出结果在像素着色器中利用朗博模型执行像素着色生成新的照明图，从而代替直接照明图，进行实时渲染。2.根据权利要求1所述的一种基于深度学...

【专利技术属性】
技术研发人员：黄佳维，
申请(专利权)人：安徽虚空位面信息科技有限公司，
类型：发明
国别省市：安徽,34