基于U-Net的BRDF贴图拼接方法技术

本发明专利技术公开了一种基于U

【技术实现步骤摘要】
基于U
‑
Net的BRDF贴图拼接方法


[0001]本专利技术涉及图像超分和材质渲染的
，尤其是指一种基于U
‑
Net的BRDF贴图拼接方法。

技术介绍

[0002]BRDF贴图是渲染中存储了材质属性信息的一些图像。对渲染的真实程度有着至关重要的作用。当下有许多BRDF贴图获取的研究工作，但是由于训练神经网络对显卡有着极高的要求，这些工作都停留在低分辨BRDF贴图生成的阶段，当物体面积较大时会缺失大量细节。
[0003]这个问题有两种解决方法，一是对物体局部进行BRDF贴图获取，再通过传统图像拼接方法将其拼接起来。由于传统图像拼接多针对远景图像拼接，对图像间的衔接不敏感，因此应用到近景的细纹理BRDF贴图时存在严重的接缝问题；二是对完整的物体进行BRDF贴图获取，输出结果通过超分算法恢复细节。但是这种方法依赖神经网络训练的数据分布，恢复的细节并不十分可靠。

技术实现思路

[0004]本专利技术的目的在于克服现有技术的缺点与不足，提出了一种基于U
‑
Net的BRDF贴图拼接方法，能够对大面积物体的局部进行拍摄合成整体的BRDF贴图，使之可以完整保留物体的细节信息，且避免了传统远景拼接产生的接缝问题。
[0005]为实现上述目的，本专利技术所提供的技术方案为：基于U
‑
Net的BRDF贴图拼接方法，包括以下步骤：
[0006]1)使用公开的BRDF贴图制作拼接数据集，该数据集包含真值BRDF贴图、整体渲染图像和若干局部渲染图像，其中，整体渲染图像是对材质的整体进行渲染得到的图像，局部渲染图像是对材质的某一部分进行渲染得到的图像，真值BRDF贴图是渲染时使用的BRDF贴图；
[0007]2)使用公开的BRDF贴图获取算法，获得整体渲染图像和所有局部渲染图像的BRDF贴图，分别称为整体贴图和局部贴图，将所有局部贴图串连，合并成一张BRDF贴图，经过这个步骤，得到包含真值BRDF贴图、缺失细节的整体贴图、串连的局部贴图的数据集；
[0008]3)使用步骤2)中获得的数据集，训练改进的U
‑
Net拼接网络，使用BRDF贴图的L1距离和整体渲染图像的L1距离作为网络训练的损失函数，改进的U
‑
Net拼接网络中具体的改进为：在主干网络中加入均值全连接，用以引入编码器的全局信息，在拼接的主干网络中另外加入一个分支，输入整体贴图，采用卷积和反卷积操作进行下采样和上采样，将特征层通过堆叠的方式引入主干网络同分辨率的特征层，使其获得对应空间上的整体贴图特征；
[0009]4)应用训练好的改进的U
‑
Net拼接网络，将物体照片获取的BRDF贴图输入网络，得到具有物体细节的高分辨率整体贴图。
[0010]进一步，在步骤1)中，对材质的整体以及局部进行渲染，需要搭建虚拟渲染场景，
步骤为：首先放置一个平面，将公开的BRDF贴图应用到该平面，作为被拍摄的近平面物体，然后在平面中心点上方设置面向平面的虚拟相机，调节至其视图中有完整的平面，接着在平面上方低于虚拟相机位置设置若干局部相机，调节至其视图中有局部的平面，要求所有局部相机能够还原完整平面；
[0011]渲染的步骤为：对于一组BRDF贴图，包含漫反射贴图d、法线贴图n、镜面反射贴图s和光滑度贴图g，应用到搭建好的虚拟场景中，场景设置了一个整体摄像机C0和n个局部摄像机C1,C2...C
n
，其中，C
n
是第n个局部摄像机，首先将渲染视图调节为C0视图，设置整体渲染图像分辨率为现实相机分辨率P
x
×
P
y
，其中，P
x
是相机x方向的分辨率，P
y
是相机y方向的分辨率，渲染得到细节不清晰的物体整体图像R0，然后将渲染视图调节为C1视图，局部渲染图像分辨率设置为P，渲染得到具有清晰细节的局部图像R1，渲染完所有的局部相机，得到n张局部图像R1,R2...R
n
，R
n
表示第n张局部图像。
[0012]进一步，在步骤2)中，局部贴图串连的具体实施方法如下：
[0013]按照虚拟相机的布局，在x方向上进行串连，场景中x方向有n
x
个相机，在y方向有n
y
个相机，则相机数量的关系表示为：
[0014]n＝n
x
n
y
[0015]串连使用concatenate操作，将x方向的局部贴图连续摆放在一起，全部串连后能够得到n
y
组像素为n
x
P
x
的BRDF贴图，接着在y方向进行串连，全部局部贴图串连成为一组像素为n
x
P
x
n
y
P
y
的BRDF贴图，这个串连起来的BRDF贴图称为串连贴图，它的纹理不连续，视角不统一，需要进一步使用改进的U
‑
Net拼接网络进行处理。
[0016]进一步，在步骤3)中，采用监督学习的方式，训练一个用于拼接局部贴图的改进的U
‑
Net拼接网络，输入是局部贴图串连形成的贴图和细节不清晰的完整贴图，输出是经过处理后的正确拼接的BRDF贴图；
[0017]改进的U
‑
Net拼接网络具体结构是：主干网络采用U
‑
Net网络结构，同时在编码器、解码器中间增加均值全连接结构，先获得编码器的均值，然后将均值输入到一层全连接层，该层全连接层使用SeLU激活函数，输出的神经元个数与该层编码、器解码器相同，均值全连接结构用数学公式表示为：
[0018][0019]式中，x
×
y表示大小为x
×
y的特征层，x方向上大小为x，y方向上大小为y；F
x
×
y
是编码器被均值全连接结构提取的特征；E
x
×
y
(i,j)是编码层的第i行、第j列的特征点；W
x
×
y
表示该层全连接层的权重；b
x
×
y
表示该层全连接层的偏移量；SeLU表示SeLU激活函数；
[0020]若x
×
y特征层的通道数为C
x
×
y
，均值全连接结构会输出大小为1
×1×
C
x
×
y
的特征，能够与大小为x
×
y
×
C
x
×
y
解码器进行相加操作，由于矩阵相加的广播机制，解码器的每一特征点都能与包含了编码器全局信息的特征相加，从而获取到编码器的全局信息；
[0021]提取低分辨率完整贴图特征的分支，具体操作为：首先将完整贴图上采样到与串连本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于U
‑
Net的BRDF贴图拼接方法，其特征在于，包括以下步骤：1)使用公开的BRDF贴图制作拼接数据集，该数据集包含真值BRDF贴图、整体渲染图像和若干局部渲染图像，其中，整体渲染图像是对材质的整体进行渲染得到的图像，局部渲染图像是对材质的某一部分进行渲染得到的图像，真值BRDF贴图是渲染时使用的BRDF贴图；2)使用公开的BRDF贴图获取算法，获得整体渲染图像和所有局部渲染图像的BRDF贴图，分别称为整体贴图和局部贴图，将所有局部贴图串连，合并成一张BRDF贴图，经过这个步骤，得到包含真值BRDF贴图、缺失细节的整体贴图、串连的局部贴图的数据集；3)使用步骤2)中获得的数据集，训练改进的U
‑
Net拼接网络，使用BRDF贴图的L1距离和整体渲染图像的L1距离作为网络训练的损失函数，改进的U
‑
Net拼接网络中具体的改进为：在主干网络中加入均值全连接，用以引入编码器的全局信息，在拼接的主干网络中另外加入一个分支，输入整体贴图，采用卷积和反卷积操作进行下采样和上采样，将特征层通过堆叠的方式引入主干网络同分辨率的特征层，使其获得对应空间上的整体贴图特征；4)应用训练好的改进的U
‑
Net拼接网络，将物体照片获取的BRDF贴图输入网络，得到具有物体细节的高分辨率整体贴图。2.根据权利要求1所述的基于U
‑
Net的BRDF贴图拼接方法，其特征在于：在步骤1)中，对材质的整体以及局部进行渲染，需要搭建虚拟渲染场景，步骤为：首先放置一个平面，将公开的BRDF贴图应用到该平面，作为被拍摄的近平面物体，然后在平面中心点上方设置面向平面的虚拟相机，调节至其视图中有完整的平面，接着在平面上方低于虚拟相机位置设置若干局部相机，调节至其视图中有局部的平面，要求所有局部相机能够还原完整平面；渲染的步骤为：对于一组BRDF贴图，包含漫反射贴图d、法线贴图n、镜面反射贴图s和光滑度贴图g，应用到搭建好的虚拟场景中，场景设置了一个整体摄像机C0和n个局部摄像机C1,C2...C
n
，其中，C
n
是第n个局部摄像机，首先将渲染视图调节为C0视图，设置整体渲染图像分辨率为现实相机分辨率P
x
×
P
y
，其中，P
x
是相机x方向的分辨率，P
y
是相机y方向的分辨率，渲染得到细节不清晰的物体整体图像R0，然后将渲染视图调节为C1视图，局部渲染图像分辨率设置为P，渲染得到具有清晰细节的局部图像R1，渲染完所有的局部相机，得到n张局部图像R1,R2...R
n
，R
n
表示第n张局部图像。3.根据权利要求2所述的基于U
‑
Net的BRDF贴图拼接方法，其特征在于，在步骤2)中，局部贴图串连的具体实施方法如下：按照虚拟相机的布局，在x方向上进行串连，场景中x方向有n
x
个相机，在y方向有n
y
个相机，则相机数量的关系表示为：n＝n
x
n
y
串连使用concatenate操作，将x方向的局部贴图连续摆放在一起，全部串连后能够得到n
y
组像素为n
x
P
x
的BRDF贴图，接着在y方向进行串连，全部局部贴图串连成为一组像素为n
x
P
x
n
y
P
y
的BRDF贴图，这个串连起来的BRDF贴图称为串连贴图，它的纹理不连续，视角不统一，需要进一步使用改进的U
‑
Net拼接网络进行处理。4.根据权利要求3所述的基于U
‑
Net的BRDF贴图拼接方法，其特征在于：在步骤3)中，采用监督学习的方式，训练一个用于拼接局部贴图的改进的U
‑
Net拼接网络，输入是局部贴图串连形成的贴图和细节不清晰的完整贴图，输出是经过处理后的正确拼接的BRDF贴图；改进的U
‑
Net拼接网络具体结构是：主干网络采用U
‑
Net网络结构，同时在编码器、解码
器中间增加均值全连接结构，先获得编码器的均值，然后将均值输入到一层全连接层，该层全连接层使用SeLU激活函数，输出的神经元个数与该层编码、器解码器相同，均值全连接结构用数学公式表示为：式中，x
×

【专利技术属性】
技术研发人员：黎嘉欣，冼楚华，李桂清，蔡宏民，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：