一种基于深度学习的三维模型到二维图像的渲染方法技术

本发明专利技术公开一种基于深度学习的三维模型到二维图像的渲染方法，包括：基于深度学习的轮廓渲染及其风格化方法，针对现有的轮廓提取算实时性以及计算的复杂性，构建合适的深度学习网络结构，针对无对照数据的风格迁移问题的数据特性，搭建计算机提取线稿与手绘线稿之间的映射；基于深度学习的光影渲染及其风格化方法，基于CycleGan网络的无监督训练模式构建风格转换网络结构，使用大量非成对的数据集对网络进行无监督训练，将三维模型的手绘风格化线稿、材质、光照、法线信息等信息输入训练完毕的网络，完成渲染，生成颜色填充和阴影表现更符合手绘风格的2D图片或视频。本发明专利技术的渲染方法可应用于动画制作或游戏画面渲染。

A Rendering Method from Three-dimensional Model to Two-dimensional Image Based on Deep Learning

【技术实现步骤摘要】
一种基于深度学习的三维模型到二维图像的渲染方法
本专利技术属于计算机视觉和深度学习两大领域，具体是一种基于深度学习的三维模型到二维图像的渲染方法。
技术介绍
卡通作为一种以绘画等造型艺术为主要表现手段的艺术形式，属于非真实感渲染。在传统卡通动画的制作过程中，大量枯燥的卡通绘制工作集中在助理动画师身上，因而一个自然的想法就是借助计算机来减轻助理动画师的工作，从而提高卡通动画的制作效率。在以二维卡通动画设计为主的动画制作系统中，通常是利用形状插值和区域自动填色来完成全部或部分助理动画师的工作，从而提高卡通动画制作的效率。但这种方法还是需要画师来处理大部分工作。所以我们需要让计算机来完成大部分工作，而非真实感图像渲染正是这样一个领域。在三维场景的非真实感绘制中，轮廓线扮演着重要的角色，是NPR不可或缺的存在。轮廓线刻画了几何模型大致的轮廓和形状，展现了三维模型的基本外观。艺术家因此经常通过显式地加强绘制轮廓线，或通过简化某些不是非常关键的局部细节来表达各自的设计意图，于是在图形交流中起到巨大作用。因此这一技术在科学可视化、三维场景的快速绘制等领域有着广阔的应用前景。对于非真实感绘制来说，不需要像真实感绘制中一样，物体的形状需要三角面片或者高次曲面再加上场景中的光照等等外部信息等来描述。非真实感绘制仅仅需要一组曲线就可以表达出物体的形状信息，一个仅仅在非真实感领域才需要绘制出来的物体信息。正是由于轮廓线对于NPR绘制的重要性和其在非真实感各种风格之间的通用性，因此对轮廓线检测和绘制算法的研究不可否认的被当成了整个NPR领域的重点。非真实感渲染中还存在着一个较为严重的问题：线条过度不如画师手绘稿自然有韵味。在传统的手工绘画中，画师的一笔一划轻重缓急都有讲究，人手在绘画过程中会产生随机抖动，使线条粗细不一，正是这种随机产生的‘错误’赋予了一幅画面生动感。然而由计算机渲染出来的轮廓线粗细一致，极为精确，但这也使画面缺少了其应该具有的韵味。所以如何模仿出手绘的效果一直是非真实感渲染领域关注的热点话题。该问题可以被归结于图像风格迁移，近年深度学习在图像风格迁移方面取得了巨大的进展，利用深度学习来实现轮廓风格化是一种高效的解决方案。公开号为CN107977414A的中国专利公开了一种基于深度学习的图像风格迁移方法及其系统，使用VGG网络计算训练图、风格图和生成图之间的代价，然后使用Adam优化器根据计算出的代价对图像转换网络进行修正，直到图像转换网络收敛，保存训练好的模型文件，最后将需要迁移风格的图片输入该模型文件中得到风格迁移后的效果图。该方法及系统能够将普通的图片转换为优美的艺术风格作品，试验表明该方法对艺术图像的纹理有着良好的学习能力，系统能够在云平台下实现，且具有很高的负载能力。
技术实现思路
本专利技术的目的是针对现有技术存在的问题，提供一种基于深度学习的三维模型到二维图像的渲染方法，用以解决三维模型到二维动画非真实感图像渲染(NPR)过程中的系列问题。为实现上述目的，本专利技术采用的技术方案是：一种基于深度学习的三维模型到二维图像的渲染方法，包括：基于深度学习的轮廓渲染及其风格化方法；基于深度学习的光影渲染及其风格化方法；所述基于深度学习的轮廓渲染及其风格化方法包括以下步骤：S11，采用多边形模型的随机检测方法检测三维模型的轮廓线；S12，利用所述三维模型的轮廓线线稿绘制出具有手绘风格的线稿；S13，采集大量成对的原始线稿和手绘线稿作为训练数据；S14，构建pix2pixHD网络模型，将所述训练数据输入网络模型进行训练，得到轮廓渲染的风格化网络模型；S15，将三维模型的原始线稿输入所述轮廓渲染的风格化网络模型，输出三维模型的手绘风格化线稿；所述基于深度学习的光影渲染及其风格化方法包括以下步骤：S21，基于CycleGan网络的无监督训练模式构建风格转换网络；S22，使用大量非成对的数据集对网络进行无监督训练；S23，将三维模型的手绘风格化线稿、材质、光照、法线信息输入训练完成的风格转换网络，生成颜色填充和阴影表现符合手绘风格的二维图像。具体地，步骤S11中，所述多边形模型的随机检测方法有两条重要的理论依据：其一是一条轮廓线的相邻边存在很大几率是另一条轮廓边；其二是视点小范围内移动时，上下帧的轮廓线大部分相同；该检测方法避免了现有轮廓提取算法在实时交互系统中的局限性，并且也不需要输入相邻信息作为已知数据，由于其的时空一致性和每两点间线段为一条边的特性，所以在满足实时效率之外还同时可以方便的进行线条的风格化绘制。同时相比其他基于图像空间的算法，易于实现。具体地，步骤S12中，绘制具有手绘风格的线稿具体为：改变原始线稿中的线型粗细和笔画模拟的风格，使绘制出的线稿具有手绘的风格；所述原始线稿为通过多边形模型的随机检测方法检测得到的三维模型轮廓线线稿。具体地，步骤S14中，所述pix2pixHD网络模型包括生成器和判别器，传统pix2pix网络模型中给定语义标签图和对应的真实照片集(si,xi)；所述生成器用于从语义标签图生成出真实图像，所述判别器用于区分真实图像和生成的图像；所述pix2pixHD网络模型对应的优化问题如下：其中，LGAN(G,D)＝E(s,x)[logD(s,x)]+Es[log(1-D(s,G(s)))]所述pix2pixHD网络模型将生成器拆分成两个子网络：全局生成器网络G1和局部增强网络G2；所述全局生成器网络G1的输入和输出的图像分辨率保持一致；所述局部增强网络G2的输出图像分辨率为输入图像分辨率的4倍(长宽各2倍)；依此类推，若想得到更高分辨率的图像，只需要增加更多的局部增强网络即可(如G＝{G1，G2，G3})。进一步地，所述全局生成器网络G1由一个卷积前端一系列残差块和一个转置卷积后端组成；所述局部增强网络G2也由一个卷积前端一系列残差块和一个转置卷积后端组成；其中，的输出与最后一层的特征图相加作为的输入，这样就使得全局生成器网络的信息可以传递到局部增强网络。进一步地，为了解决高分辨率所需的鉴别器大感受野以及所带来的网络深度增加、过拟合问题以及所需现存过大的问题，所述pix2pixHD网络模型采用3个判别器来处理不同尺度的图像，该3个判别器具有相同的网络结构；为使训练更加稳定，引入特征匹配损失函数：其中，表示判别器Dk提取的第i层特征，T为总的层数，Dk为3个判别器(D1、D2、D3)中的一个；Ni为第i层总元素的个数；引入特征匹配损失函数后，所述pix2pixHD网络模型的优化问题(目标函数)转化为：其中，λ是特征匹配损失函数在优化问题中所占权重。具体地，步骤S21中，所述风格转换网络包括生成器和判别器，所述生成器用于生成风格化的图像，所述判别器用于将生成的风格化图像与真实手绘图像做对比，并将对比结果作为损失函数训练生成器；该损失函数为：LGAN(F,DY,X,Y)＝Ey～Pdata(y)[logDY(y)]+Ex～Pdata(x)[log(1-DY(F(x)))]其中，X、Y分别为两种不同风格的图片集；F为从X风格到Y风格的映射，用于将X中的图片x转换为Y中的图片F(x)；DY为F映射的判别器；为了避免将所有X中的图片都转换为Y中的同一张图片，引入另一个映射G，用于将Y中的图片y转换本文档来自技高网...

【技术保护点】
1.一种基于深度学习的三维模型到二维图像的渲染方法，其特征在于，包括：基于深度学习的轮廓渲染及其风格化方法；基于深度学习的光影渲染及其风格化方法；所述基于深度学习的轮廓渲染及其风格化方法包括以下步骤：S11，采用多边形模型的随机检测方法检测三维模型的轮廓线；S12，利用所述三维模型的轮廓线线稿绘制出具有手绘风格的线稿；S13，采集大量成对的原始线稿和手绘线稿作为训练数据；S14，构建pix2pixHD网络模型，将所述训练数据输入网络模型进行训练，得到轮廓渲染的风格化网络模型；S15，将三维模型的原始线稿输入所述轮廓渲染的风格化网络模型，输出三维模型的手绘风格化线稿；所述基于深度学习的光影渲染及其风格化方法包括以下步骤：S21，基于CycleGan网络的无监督训练模式构建风格转换网络；S22，使用大量非成对的数据集对网络进行无监督训练；S23，将三维模型的手绘风格化线稿、材质、光照、法线信息输入训练完成的风格转换网络，生成颜色填充和阴影表现符合手绘风格的二维图像。

【技术特征摘要】
1.一种基于深度学习的三维模型到二维图像的渲染方法，其特征在于，包括：基于深度学习的轮廓渲染及其风格化方法；基于深度学习的光影渲染及其风格化方法；所述基于深度学习的轮廓渲染及其风格化方法包括以下步骤：S11，采用多边形模型的随机检测方法检测三维模型的轮廓线；S12，利用所述三维模型的轮廓线线稿绘制出具有手绘风格的线稿；S13，采集大量成对的原始线稿和手绘线稿作为训练数据；S14，构建pix2pixHD网络模型，将所述训练数据输入网络模型进行训练，得到轮廓渲染的风格化网络模型；S15，将三维模型的原始线稿输入所述轮廓渲染的风格化网络模型，输出三维模型的手绘风格化线稿；所述基于深度学习的光影渲染及其风格化方法包括以下步骤：S21，基于CycleGan网络的无监督训练模式构建风格转换网络；S22，使用大量非成对的数据集对网络进行无监督训练；S23，将三维模型的手绘风格化线稿、材质、光照、法线信息输入训练完成的风格转换网络，生成颜色填充和阴影表现符合手绘风格的二维图像。2.根据权利要求1所述的一种基于深度学习的三维模型到二维图像的渲染方法，其特征在于，步骤S12中，绘制具有手绘风格的线稿具体为：改变原始线稿中的线型粗细和笔画模拟的风格，使绘制出的线稿具有手绘的风格；所述原始线稿为通过多边形模型的随机检测方法检测得到的三维模型轮廓线线稿。3.根据权利要求1所述的一种基于深度学习的三维模型到二维图像的渲染方法，其特征在于，步骤S14中，所述pix2pixHD网络模型包括生成器和判别器，所述生成器用于从语义标签图生成出真实图像，所述判别器用于区分真实图像和生成的图像；所述pix2pixHD网络模型对应的优化问题如下：其中，LGAN(G,D)＝E(s,x)[logD(s,x)]+Es[log(1-D(s,G(s)))]所述pix2pixHD网络模型将生成器拆分成两个子网络：全局生成器网络G1和局部增强网络G2；所述全局生成器网络G1的输入和输出的图像分辨率保持一致；所述局部增强网络G2的输出图像分辨率为输入图像分辨率的4倍。4.根据权利要求3所述的一种基于深度学习的三维模型到...

【专利技术属性】
技术研发人员：高浩，王远，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏,32