基于单张高光图像的SVBRDF材质建模方法及系统技术方案

本公开提供了一种基于单张高光图像的SVBRDF材质建模方法及系统，所述方案属于三维渲染材质技术领域，所述方案包括：获取物体材质表面的高光图像；将所述高光图像，通过基于密集特征融合连接和高光多级识别的方式进行高光消除，获得无高光图像；将所述高光图像和无高光图像输入预先训练的生成器网络中，获得物体表面的空间变化双向反射率分布函数，进而获得对应的材质贴图；其中，所述生成器网络包括共享编码器和分别与所述共享编码器连接的若干个解码器，所述解码器分别对应于漫反射贴图、法线贴图、粗糙度贴图及反射贴图的处理。粗糙度贴图及反射贴图的处理。粗糙度贴图及反射贴图的处理。

【技术实现步骤摘要】
基于单张高光图像的SVBRDF材质建模方法及系统


[0001]本公开属于三维渲染材质
，尤其涉及一种基于单张高光图像的SVBRDF材质建模方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本公开相关的
技术介绍
信息，不必然构成在先技术。
[0003]在计算机图形和视觉领域，从图像中估计材料的反射特性一直是一个广泛的研究课题。真实世界中，材料的外观取决于观察和照明方向，这使得外观估计成为一项具有挑战性的任务。表面反射率属性通常由双向反射率分布函数(bi
‑
directional reflectance distribution function，BRDF)表示，由于大多数表面不是完全均质的，因此通常将BRDF带表面位置的函数给出，将其称为空间变化双向反射率分布函数(spatially
‑
varying bi
‑
directional reflectance distribution function，SVBRDF)，包括漫反照率、镜面反照率、表面法线、以及粗糙度，对应为漫反射贴图、反射贴图、法向贴图和粗糙度贴图四种材质贴图。
[0004]不同的反射率可以产生相同的观察图像，因此从不同照明和观察方向下拍摄的输入图像中重建高质量的空间变化双向反射率分布函数是非常困难的。通常，对物体进行表观材质建模需要使用专业仪器测量特定物体材质表面在场景中光线的反射特性，或是通过大量人工干预利用专业工具标记材质贴图。专利技术人发现，最近，基于深度学习的方法在材质建模工作实现了从拍摄的材质图片中重建出各种材质贴图，大大简化了材质建模工作的过程，但由于许多消费级相机的动态范围有限，因此某些图像区域将被镜面反射高光污染，会在生成的特征图中产生明显的斑点伪影，导致生成的材质贴图效果无法满足实际需求。

技术实现思路

[0005]本公开为了解决上述问题，提供了一种基于单张高光图像的SVBRDF材质建模方法及系统，所述方案基于真实世界拍摄的单张带有高光的图像，自动生成贴近真实材料外观的材质贴图。
[0006]根据本公开实施例的第一个方面，提供了一种基于单张高光图像的SVBRDF材质建模方法，包括：
[0007]获取物体材质表面的高光图像；
[0008]将所述高光图像，通过基于密集特征融合连接和高光多级识别的方式进行高光消除，获得无高光图像；
[0009]将所述高光图像和无高光图像输入预先训练的生成器网络中，获得物体表面的空间变化双向反射率分布函数，进而获得对应的材质贴图；其中，所述生成器网络包括共享编码器和分别与所述共享编码器连接的若干个解码器，所述解码器分别对应于漫反射贴图、法线贴图、粗糙度贴图及反射贴图的处理。
[0010]进一步的，所述通过基于密集特征融合连接和高光多级识别的方式进行高光消除，具体为：利用带有密集特征融合连接的编码器
‑
解码器组，采用多级高光识别策略，对拍摄图像进行高光去除操作，获取拍摄图像的无高光图像。
[0011]进一步的，所述编码器包括顺序连接的若干个卷积层、实例归一化层、线性整流单元及最大池化层构成；所述解码器包括顺序连接的若干个反卷积层、实例归一化层及线性整流单元构成。
[0012]进一步的，所述编码器基于密集特征融合连接，将卷积块提取到的特征与其上一层卷积块提取的特征进行级联操作，再进行上采样操作，最后进行卷积操作。
[0013]进一步的，所述生成器网络的编码器包括八个卷积层用于下采样，前七个卷积层后连接一个实例化归一层和线性整流单元，最后一个卷积层连接一个实例化归一层。
[0014]进一步的，所述生成器网络与多辨别器网络进行协同训练，具体为：
[0015]获取公共数据集，通过对所述公共数据集进行去重、随机裁剪及随机筛选，实现训练数据集的构建；
[0016]基于预先构建的最小化损失函数，通过构建的训练数据集对所述生成器网络与多辨别器网络进行协同训练，其中，通过所述多辨别器网络及预先构建的损失函数，对所述生成器网络生成的材质贴图进行质量判别。
[0017]根据本公开实施例的第二个方面，提供了一种基于单张高光图像的SVBRDF材质建模系统，包括：
[0018]数据获取单元，其用于获取物体材质表面的高光图像；
[0019]高光消除单元，其用于将所述高光图像，通过基于密集特征融合连接和高光多级识别的方式进行高光消除，获得无高光图像；
[0020]物体表面材质估计单元，其用于将所述高光图像和无高光图像输入预先训练的生成器网络中，获得物体表面的空间变化双向反射率分布函数，进而获得对应的材质贴图；其中，所述生成器网络包括共享编码器和分别与所述共享编码器连接的若干个解码器，所述解码器分别对应于漫反射贴图、法线贴图、粗糙度贴图及反射贴图的处理。
[0021]根据本公开实施例的第三个方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上运行的计算机程序，所述处理器执行所述程序时实现所述的基于单张高光图像的SVBRDF材质建模方法。
[0022]根据本公开实施例的第四个方面，提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述的基于单张高光图像的SVBRDF材质建模方法。
[0023]与现有技术相比，本公开的有益效果是：
[0024](1)本公开所述方案提供了一种基于单张高光图像的SVBRDF材质建模方法，其提出的生成器是一个具有共享编码器和四个解码器的编码器
‑
解码器网络，四个解码器分别对漫反射贴图、法线贴图、粗糙度贴图和反射贴图进行处理，使用生成器网络生成材质贴图，使用渲染模块将生成的贴图渲染出一张渲染图像，使用多辨别器网路对生成贴图与真实贴图，渲染图像与真实图像进行判别，生成高质量材质外观贴图。
[0025](2)所述方案使用基于密集特征融合连接和高光多级识别的高光消除模块，在SVBRDF估计过程中减少过曝光区域对材质估计的影响，可以去除现有SVBRDF估计技术中存
在的高光伪影现象。
[0026](3)所述方案提出基于贴图损失、渲染损失和对抗损失的损失函数，并且引入了特征匹配损失来稳定训练。
[0027]本公开附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。
附图说明
[0028]构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
[0029]图1是本公开实施例中所述的基于单张高光图像的SVBRDF材质建模方法采用的网络结构图；
[0030]图2是本公开实施例中所述的高光消除模块网络结构图；
[0031]图3(a)是本公开实施例中所述的高光消除模块编码器结构图；
[0032]图3(b)是本公开实施例中所述的高光消除模块解码器结构图；...

【技术保护点】

【技术特征摘要】
1.一种基于单张高光图像的SVBRDF材质建模方法，其特征在于，包括：获取物体材质表面的高光图像；将所述高光图像，通过基于密集特征融合连接和高光多级识别的方式进行高光消除，获得无高光图像；将所述高光图像和无高光图像输入预先训练的生成器网络中，获得物体表面的空间变化双向反射率分布函数，进而获得对应的材质贴图；其中，所述生成器网络包括共享编码器和分别与所述共享编码器连接的若干个解码器，所述解码器分别对应于漫反射贴图、法线贴图、粗糙度贴图及反射贴图的处理。2.如权利要求1所述的一种基于单张高光图像的SVBRDF材质建模方法，其特征在于，所述通过基于密集特征融合连接和高光多级识别的方式进行高光消除，具体为：利用带有密集特征融合连接的编码器
‑
解码器组，采用多级高光识别策略，对拍摄图像进行高光去除操作，获取拍摄图像的无高光图像。3.如权利要求2所述的一种基于单张高光图像的SVBRDF材质建模方法，其特征在于，所述编码器包括顺序连接的若干个卷积层、实例归一化层、线性整流单元及最大池化层构成；所述解码器包括顺序连接的若干个反卷积层、实例归一化层及线性整流单元构成。4.如权利要求2所述的一种基于单张高光图像的SVBRDF材质建模方法，其特征在于，所述编码器基于密集特征融合连接，将卷积块提取到的特征与其上一层卷积块提取的特征进行级联操作，再进行上采样操作，最后进行卷积操作。5.如权利要求1所述的一种基于单张高光图像的SVBRDF材质建模方法，其特征在于，所述生成器网络的编码器包括八个卷积层用于下采样，前七个卷积层后连接一个实例化归一层和线性整流单元，最后一个卷积层连接一个实例化归一层。6.如权利要求1所述的一种基于单张高光图像的SVBRDF材质建模方法，其特征在于...

【专利技术属性】
技术研发人员：王璐，刘克梅，徐延宁，王贝贝，孟祥旭，杨承磊，
申请(专利权)人：山东大学，
类型：发明
国别省市：