一种从单张图像捕获织物外观的方法技术

本发明专利技术公开了一种从单张图片捕获织物外观的方法，提出了一种前向织物着色模型和一个估计模型参数的逆过程框架，包括一个神经网络和基于可微分渲染的优化策略，前向着色模型将织物纱线视为弯曲和扭曲的圆柱体，使用基于microflake的BRDF模型对其进行着色，该模型可以在一大类编织布料上生成逼真的渲染效果，并且适应于可微分渲染。使用一种简单廉价的织物捕获配置捕获真实的织物数据，使用前向着色模型生成的大型合成数据集上训练的神经网络，从拍摄的单张图片中估计前向模型的参数，然后通过可微分渲染进一步优化这些参数产生更精确的结果。该方法实现了对捕获的织物样本的高质量重建，可用于高效渲染和进一步编辑。可用于高效渲染和进一步编辑。可用于高效渲染和进一步编辑。

【技术实现步骤摘要】
一种从单张图像捕获织物外观的方法


[0001]本专利技术属于计算机图形学渲染领域，特别是一种从单张图像捕获织物外观的方法。

技术介绍

[0002]从室内场景到虚拟角色，数字再现织物的外观在真实感渲染的许多应用中都很重要，也是一项具有挑战性的任务。以前的工作范围从应用不适用于织物的通用着色模型，到需要昂贵设备和大量数据的扫描织物数据驱动方法，都不能够将单个织物照片高效的转换为能够实现紧凑存储和高效渲染的高质量重建。
[0003]近年以来，有很多方法被提出用于恢复材质外观。早期的方法是使用具有受控照明和相机阵列的集成采集系统来捕获空间变化双向反射分布函数(SVBRDF)，该类方法十分准确但需要昂贵的设备和漫长的采集过程。另一种方法是艺术家手动的在材质编辑软件中创建材质，这个过程需要培训美术人员，也是一种复杂且耗时的过程。更加轻量级的方法常常以单幅或多幅图像作为输入，基于一些特定的先验知识来优化SVBRDF捕获过程。随着深度学习技术的发展，学界提出了不同的神经网络结构和训练策略。针对单张图像每像素SVBRDF的采集，Li等人提出了在有限标记的SVBRDF训练对上的卷积神经网络。Deschaintre等人结合了U
‑
Net和全连接网络从各个阶段提取特征，同时使用渲染损失优化训练，后来又提出了在环境光照明条件下对平面进行微调的方法。Guo等人提出了一种双流网络结构，高光感知卷积模块能够处理图像中的高光从而消除其影响。Zhao 等人提出了生成对抗网络来处理SVBRDF的恢复和合成。Henzler使用隐空间向量处理SVBRDF的恢复，并可以进一步编辑。Hu等人提出了一种逆程序化建模框架，训练一个无监督聚类模型用于自动选择最合适的程序化模型，然后使用 CNN将输入图像映射到模型中的材质参数。Shi等人采用类似的方法使用可微分的Adobe Substance材质图将材质捕获到生产级程序化材质模型。这些方法都是针对一般材质设计的，对于织物而言并不理想。本专利技术遵循类似的框架，但针对高精度织物重建设计了更多的改进。
[0004]目前最为常用的材质表示模型是microfacet模型，该模型假设物体表面由很多朝向各异的微小表面组成，每个微小表面绝对光滑，可以表示金属、塑料等一系列表面外观。以往的材质恢复方法大多采用的都是microfacet模型，但是织物通常是由一根根纱线编织而成，使用microfacet模型并不能对织物进行逼真的建模，因此之前的材质恢复方法大多不包含织物材质，或重建得到的织物外观并不真实。Jakob首次提出了microflake模型来表示各向异性介质，该模型适合对体数据建模，将物体表示为内部分布着微薄片的体数据，可以表示织物，树叶和毛发等材质。最近，Wang等人提出了SpongeCake模型，将模型的每一层定义为由microflake表示的体介质。本专利技术的模型在Wang的基础做了进一步的修改以增强织物的真实感。

技术实现思路

[0005]本专利技术的目的在于提供一种从单张图像捕获织物外观的方法，避免采集繁重的数据集，实现高质量的织物外观重建。
[0006]为实现上述目的，本专利技术提供了一种从单张图像捕获织物外观的方法，包括以下步骤：
[0007]步骤一，搭建一个织物捕获场景，拍摄得到织物图像，进行裁剪、调整分辨率这些预处理操作；
[0008]步骤二，编辑织物纱线编织图案，导出对应的法线和方向贴图；
[0009]步骤三，使用前向着色模型，根据步骤二导出的贴图，对模型的其他参数随机采样，生成训练数据集；
[0010]步骤四，构建网络模型，在步骤三生成的数据集上训练，得到训练好的网络模型；
[0011]步骤五，将测量的织物图像输入到训练好的网络模型，得到预测的参数组，使用逆过程框架优化参数。
[0012]步骤(1.1)具体为，在平面上放置一个圆柱体，圆柱体半径3.5cm，长度10cm，将织物样本包裹在圆柱体上；在圆柱体前方放置一部手机充当相机，圆柱体在相机视角中心位置；在圆柱体前方放置另一部手机，使用其闪光灯充当点光源；在圆柱体后方竖直放置一个灰卡，使用相机拍摄灰卡来调节曝光、白平衡参数，固定拍摄参数；
[0013]步骤(1.2)具体为，使用步骤(1.1)固定的拍摄参数拍摄织物照片，将拍摄得到的图像转为png格式文件，将图像边缘裁剪保留中间部分，调整分辨率为300
×
800，得到最终图像。
[0014]步骤二具体为，在织物编织图案文件中配置纱线的编织方式，指定纱线的类型、中心位置、长度和宽度、加捻角度、弯曲角度等属性，将纱线建模为弯曲和扭曲的圆柱体，根据这些属性计算得到纱线的法线贴图n和方向贴图t，计算公式分别为：
[0015][0016][0017]其中u、v分别表示纱线横坐标、纵坐标，ψ表示纱线加捻角度，函数R为初始竖直向上的向量沿x或y轴旋转的分量。
[0018]步骤三具体为，对纱线的粗糙度α、高度场缩放因子β、高光颜色k
d
、漫反射颜色k
s
、Lambertian项权重w、高度场噪声因子U
s
、颜色噪声因子U
n
、经纱纬纱重复次数s进行随机采样，得到一组参数P；编写程序建立与步骤一所述测量织物相同的仿真场景，使用前向着色模型，使用参数组P渲染得到一张图像M，该图像和渲染参数组作为数据集的一个样本；针对不同的法线贴图和方向贴图各自生成至少2000个样本，组成训练数据集。前向着色模型渲染公式为：
[0019][0020][0021][0022]其中
[0023]其中q＝h
T
S
‑1h，且
[0024]其中f
r
为着色点渲染公式，为镜面反射项，为漫反射项，ω
i
为着色点的入射角，ω
o
为着色点出射角，ω
m
为着色点宏观表面法线，ω
n
为着色点微观表面法线，D(h)为法线分布函数，G(w
i
，w
o
)为阴影
‑
遮挡函数，h为w
i
和w
o
的半程向量，S为microflake分布矩阵；根据颜色噪声因子U
n
生成柏林噪声与高光颜色相乘，根据高度场噪声因子U
s
生成柏林噪声与高度场缩放因子β相乘，高度场缩放因子β对ω
n
缩放，进而在渲染图像上添加噪声。
[0025]步骤四具体为，使用预训练好的VGG
‑
19神经网络提取图像的Gram矩阵，与两层256个节点的全连接神经网络连接组成训练网络，VGG在训练时不参与权重更新；对于输入的一张图像M，首先逐像素地减去图像均值mean，然后除以图像标准差std，得到预处理的图像M
′
：
[0026][0027]将图像M
′
输入训练网络中，得到输出参数P
′...

【技术保护点】

【技术特征摘要】
1.一种从单张图像捕获织物外观的方法，其特征在于，包括以下步骤：步骤一，搭建一个织物捕获场景，拍摄得到织物图像，进行裁剪、调整分辨率这些预处理操作；步骤二，编辑织物纱线编织图案，导出对应的法线和方向贴图；步骤三，使用前向着色模型，根据步骤二导出的贴图，对模型的其他参数随机采样，生成训练数据集；步骤四，构建网络模型，在步骤三生成的数据集上训练，得到训练好的网络模型；步骤五，将测量的织物图像输入到训练好的网络模型，得到预测的参数组，使用逆过程框架优化参数。2.根据权利要求1所述的从单张图像捕获织物外观的方法，其特征在于，所述步骤一的具体实现过程为:(1.1)在平面上放置一个圆柱体，圆柱体半径3.5cm，长度10cm，将织物样本包裹在圆柱体上；在圆柱体前方放置一部手机充当相机，圆柱体在相机视角中心位置；在圆柱体前方放置另一部手机，使用其闪光灯充当点光源；在圆柱体后方竖直放置一个灰卡，使用相机拍摄灰卡来调节曝光、白平衡参数，固定拍摄参数；(1.2)使用步骤(1.1)固定的拍摄参数拍摄织物照片，将拍摄得到的图像转为png格式文件，将图像边缘裁剪保留中间部分，调整分辨率为300
×
800，得到最终图像。3.根据权利要求1所述的从单张图像捕获织物外观的方法，其特征在于，所述步骤二的具体实施过程为：在织物编织图案文件中配置纱线的编织方式，指定纱线的类型、中心位置、长度和宽度、加捻角度、弯曲角度这些属性，将纱线建模为弯曲和扭曲的圆柱体，根据这些属性计算得到纱线的法线贴图n和方向贴图t，计算公式分别为：些属性计算得到纱线的法线贴图n和方向贴图t，计算公式分别为：其中u、v分别表示纱线横坐标、纵坐标，ψ表示纱线加捻角度，函数R为初始竖直向上的向量沿x或y轴旋转的分量。4.根据权利要求1所述的从单张图像捕获织物外观的方法，其特征在于：步骤三具体为，对纱线的粗糙度α、高度场缩放因子β、高光颜色k
d
、漫反射颜色k
s
、Lambertian项权重w、高度场噪声因子U
s
、颜色噪声因子U
n
、经纱纬纱重复次数s进行随机采样，得到一组参数P；编写程序建立与步骤一所述测量织物相同的仿真场景，使用前向着色模型，使用参数组P渲染得到一张图像M，该图像和渲染参数组作为数据集的一个样本；针对不同的法线贴图和方向贴图各自生成至少2000个样本，组成训练数据集；前向着色模型渲染公式为：贴图各自生成至少2000个样本，组成训练数据集；前向着色模型渲染公式为：
其中其中其中q＝h
T
S
‑1h,且其中f
r
为着色点渲染公式，为镜面反射项，为漫反射项，ω
i
为着色点的入射角，ω
o
为着色点出射角，ω
m
为着色点宏观表面法线，ω
n
为着色点微观表面法线，D(h)为法线分布函数，G(w
i
,w
o
)为阴...

【专利技术属性】
技术研发人员：王贝贝，靳文华，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：