一种基于矩阵行列采样和深度学习进行多光源渲染的方法技术

技术编号:19216617 阅读:23 留言:0更新日期:2018-10-20 07:02
本发明专利技术公开了一种基于矩阵行列采样和深度学习进行多光源渲染的方法,包括:步骤1,根据三维场景建立光照矩阵;步骤2,从光照矩阵中随机抽取若干行,得到一次随机缩减矩阵;步骤3,在一次随机缩减矩阵中随机抽取若干行,得到二次随机缩减矩阵;步骤4,针对不同视点,分别绘制一次随机缩减矩阵图像和二次随机缩减矩阵图像;步骤5,利用一次随机缩减矩阵图像和二次随机缩减矩阵图像对训练深度神经网络模型;步骤6,在实时绘制高真实感图像时,将绘制的二次随机缩减矩阵图像输入训练好的深度神经网络模型,输出得到完整的高真实感图像。本发明专利技术提供的多光源渲染的方法,利用训练好的深度神经网络模型可以快速准确进行多光源渲染。

【技术实现步骤摘要】
一种基于矩阵行列采样和深度学习进行多光源渲染的方法
本专利技术涉及计算机图像处理领域,具体涉及一种基于矩阵行列采样和深度学习进行多光源渲染的方法。
技术介绍
对具有间接光照,高动态范围环境光照,且具有多个直接光源的复杂场景进行渲染是一项很有挑战的工作。研究表明,这类问题可以通过转化为多光源问题来获得解决,即所有光源可以被转化成点光源的集合,从而将间接光照的渲染问题转化成一个多点光源问题。使用数以千计的点光源进行直接渲染显然是非常困难的。Lightcuts框架提供了一种可扩展的方法来解决多点光源问题,利用可见性剔除算法通过基于CPU的光线追踪器可以在几分钟内完成计算。在实际应用中,光源与被照射物体存在相对位置关系,需要针对光源与物体的位置关系进行渲染。在交互场景下,比如电影或结构设计过程中,需要及时响应光源与物体的相对位置变化,进行实时渲染,这会带来极大的运算量。现有方法是通过预处理来解决这个问题,即事先针对各种位置关系完成渲染,在交互阶段直接读取渲染结果。这样把计算总量进行了平摊。但是这种方法有两个重大缺陷:1、占用大量内存存储预处理数据。2、使用这种方法的场景,只有光源或物体单方面可以活动。这大大限制了该方法的应用范围。GPU作为专门处理图像的硬件,内部具有加速能力,包括阴影映射算法以及着色器等。为图形渲染计算提供计算加速及并行处理能力。使用GPU进行渲染处理,可以有效降低CPU开销,同时提升渲染计算效率和效果。但是上述算法仍然还是比较耗时,本专利技术利用深度学习网络来学习对部分绘制图像的补全,进而达到整幅图像绘制的目的。
技术实现思路
本专利技术提供了一种基于矩阵行列采样和深度学习进行多光源渲染的方法,将复杂的三维场景下的多光源渲染问题转化为训练深度神经网络模型的问题,利用训练好的深度神经网络模型可以快速准确进行多光源渲染。一种基于矩阵行列采样和深度学习进行多光源渲染的方法,包括:步骤1,根据三维场景建立光照矩阵,该光照矩阵中,每一列表示一个光源照射的所有采样点,每一行表示一个采样点上的所有光源照射;步骤2,从光照矩阵中随机抽取若干行,得到一次随机缩减矩阵;步骤3,在一次随机缩减矩阵中随机抽取若干行,得到二次随机缩减矩阵;步骤4,针对不同视点,分别绘制一次随机缩减矩阵图像和二次随机缩减矩阵图像;步骤5,利用一次随机缩减矩阵图像和二次随机缩减矩阵图像对训练深度神经网络模型;步骤6,在实时绘制高真实感图像时,首先绘制二次随机缩减矩阵图像,然后将二次随机缩减矩阵图像输入训练好的深度神经网络模型,输出得到完整的高真实感图像。一次随机缩减矩阵中的行数足够多时,一次随机缩减矩阵图像可以认为是整个三维场景完全绘制得到的图像,当深度神经网络模型训练好之后,只要将二次缩减矩阵图像输入到训练好的深度神经网络模型,就可以得到一次随机缩减矩阵图像,也即得到整个三维场景完全绘制得到的图像,大大提高绘制的效率。作为优选,步骤4中,绘制一次随机缩减矩阵图像的步骤的具体过程如下:步骤4-a-1,使用采样分簇,将一次随机缩减矩阵划分为若干簇,在每个簇中,选取完整的一列作为代表,根据RGB颜色通道对该列进行渲染,获得该列的完整光照采样;步骤4-a-2,对代理列的光照采样进行扩展,得到每个簇在RGB通道上的光照强度总和;步骤4-a-3,将各簇的光照强度合并,得到多光源渲染结果。作为优选,步骤4-a-1中的采样分簇,包括如下步骤:步骤4-a-1-1,在一次随机缩减矩阵中随机选择个列作为簇中心,将与簇中心最近的点划分到簇中心所代表的簇中,c为一次随机缩减矩阵中的列数;步骤4-a-1-2,针对一次随机缩减矩阵中某一列,优先在远离该列的列中随机选取列,当某一列被选中时,按固定比例增加该列其权重,直至个列被选中;步骤4-a-1-3,将权重较大的列作为簇中心,依据与簇中心的距离将一次随机缩减矩阵划分为若干簇。作为优选,步骤4中,绘制二次随机缩减矩阵图像的步骤的具体过程如下:步骤4-b-1,依据分簇因子对一次随机缩减矩阵进行分簇,分簇因子为每簇的行数;步骤4-b-2,从所分的簇中随机选择一些簇,在每个随机选出的簇中,选取完整的一列作为代表,根据RGB颜色通道对该列进行渲染,获得该列的完整光照采样;步骤4-b-3,对代理列的光照采样进行扩展,得到每个簇在RGB通道上的光照强度总和;步骤4-b-4,将各簇的光照强度合并,得到多光源渲染结果。作为优选,步骤5中,图像对的数量不少于10000。每个视点对应一个一次随机缩减矩阵图像和二次随机缩减矩阵图像的图像对,图像对的数量不少于10000,也即视点的数量不少于10000。本专利技术提供的基于矩阵行列采样和深度学习进行多光源渲染的方法,将复杂的三维场景下的多光源渲染问题转化为训练深度神经网络模型的问题,利用训练好的深度神经网络模型可以快速准确进行多光源渲染。附图说明图1为本专利技术中深度神经网络模型的示意图。具体实施方式下面结合附图,对本专利技术基于光照矩阵行列采样和深度学习进行多光源渲染的方法做详细描述。步骤1,根据场景建立具有多光源的光照矩阵,光照矩阵中,每一列表示一个光源照射的所有采样点,每一行表示一个采样点上的所有光源照射。对于具有m个采样点和n个光源的多光源场景,计算所有光源在每个采样点上的贡献之和即可获得完整的场景渲染结果,该问题转化为:一个规格为m×n的光照矩阵A,其中任意元素Aij表示光源j在采样点i上的贡献,光照矩阵A中各个元素采用RGB标量,将光照矩阵A中的所有列进行累加,可以获得每个光源在所有采样点上的贡献值。根据以上公式计算完整光照矩阵的元素,计算复杂度为O(mn)。如果采样点i对于光源j来说不可见,则Aij为0,根据实际情况,实际光照矩阵中有大量0元素,即光照矩阵A是低秩的,从光照矩阵中随机抽取r行形成缩减光照矩阵,当r足够大时,就可以包含完整光照矩阵的足够信息,缩减光照矩阵可以看作是完整光照矩阵的抽样版本,通过对缩减光照矩阵进行渲染,可以获得完整光照矩阵的渲染效果。将光照矩阵A的第j列用表示,全局多光源的渲染结果∑A可以用如下公式表示:步骤2,从光照矩阵中随机抽取若干行,形成缩减光照矩阵,也即一次随机缩减光照矩阵。从光照矩阵A中随机选择r行,形成的r×n光照矩阵R,ρj是R的列,将R中的元素从采用RGB标量转换为使用RGB三元组的2-范数进行标量,ρj是完整列的抽样版本,称作一次随机缩减列,光照矩阵R是完整的光照矩阵A的一个缩小版本。通过将光照矩阵R分成多个部分(即多个簇)分别进行处理,可以将计算复杂度降低到O(m+n)。通过对各簇分别进行处理,合成完整光照矩阵R,可以获得近似结果,分簇方法影响了最终结果的误差度,所以需要依据误差估计来确定分簇方法,使最终结果的误差最小。步骤3,针对不同的视点,分别绘制一次随机缩减矩阵图像和二次随机缩减矩阵图像,具体的实施细节如下:3.1,一次随机缩减矩阵图像的绘制在三维场景中随机选择10000个视点进行绘制,对每一个视点绘制图像进行编号,分别为V1........V10000。针对每一个视点的图像,绘制过程如下:对于规格为m×n的光照矩阵A,将n行分为l个簇C1,C2,…,Cl,缩减列的范数||ρj||为簇Ck中光源j在整个图像上光照强度。定义sk为簇Ck的全本文档来自技高网...

【技术保护点】
1.一种基于矩阵行列采样和深度学习进行多光源渲染的方法,其特征在于,包括:步骤1,根据三维场景建立光照矩阵,该光照矩阵中,每一列表示一个光源照射的所有采样点,每一行表示一个采样点上的所有光源照射;步骤2,从光照矩阵中随机抽取若干行,得到一次随机缩减矩阵;步骤3,在一次随机缩减矩阵中随机抽取若干行,得到二次随机缩减矩阵;步骤4,针对不同视点,分别绘制一次随机缩减矩阵图像和二次随机缩减矩阵图像;步骤5,利用一次随机缩减矩阵图像和二次随机缩减矩阵图像对训练深度神经网络模型;步骤6,在实时绘制高真实感图像时,首先绘制二次随机缩减矩阵图像,然后将二次随机缩减矩阵图像输入训练好的深度神经网络模型,输出得到完整的高真实感图像。

【技术特征摘要】
1.一种基于矩阵行列采样和深度学习进行多光源渲染的方法,其特征在于,包括:步骤1,根据三维场景建立光照矩阵,该光照矩阵中,每一列表示一个光源照射的所有采样点,每一行表示一个采样点上的所有光源照射;步骤2,从光照矩阵中随机抽取若干行,得到一次随机缩减矩阵;步骤3,在一次随机缩减矩阵中随机抽取若干行,得到二次随机缩减矩阵;步骤4,针对不同视点,分别绘制一次随机缩减矩阵图像和二次随机缩减矩阵图像;步骤5,利用一次随机缩减矩阵图像和二次随机缩减矩阵图像对训练深度神经网络模型;步骤6,在实时绘制高真实感图像时,首先绘制二次随机缩减矩阵图像,然后将二次随机缩减矩阵图像输入训练好的深度神经网络模型,输出得到完整的高真实感图像。2.如权利要求1所述的矩阵行列采样和深度学习进行多光源渲染的方法,其特征在于,步骤4中,绘制一次随机缩减矩阵图像的步骤的具体过程如下:步骤4-a-1,使用采样分簇,将一次随机缩减矩阵划分为若干簇,在每个簇中,选取完整的一列作为代表,根据RGB颜色通道对该列进行渲染,获得该列的完整光照采样;步骤4-a-2,对代理列的光照采样进行扩展,得到每个簇在RGB通道上的光照强度总和;步骤4-a-3,将各簇的光照强度进行合并,得到多光源渲染结果。3.如权利要求2所述的矩阵行列...

【专利技术属性】
技术研发人员:张根源应跃波
申请(专利权)人:浙江传媒学院浙江广播电视集团
类型:发明
国别省市:浙江,33

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1