一种基于生成对抗网络的模型纹理生成方法技术

本发明专利技术公开了一种基于生成对抗网络的模型纹理生成方法。本发明专利技术包括如下步骤：(1)对输入的模型，即无纹理贴图的三维模型，根据给定的采样规则，从多个视角获取模型的采样图片；(2)对采样图片做边缘检测处理，将采样图转化为线框图；(3)搭建并训练生成彩色纹理的生成对抗网络，然后将线框图作为网络的输入，通过生成对抗网络的处理，输出彩色纹理图；(4)将网络输出的多张彩色纹理图映射到原模型上，实现纹理着色，获得具有纹理贴图的三维模型。本发明专利技术通过搭建并训练基于深度卷积的生成对抗网络的方法，即可实现纹理图片的生成，提升了纹理贴图的制作效率，节约了成本，同时也统一了纹理生成的环境因素，保证最后纹理着色的一致性。

A Model Texture Generation Method Based on Generating Countermeasure Network

【技术实现步骤摘要】
一种基于生成对抗网络的模型纹理生成方法
本专利技术属于计算机图形学
，具体涉及一种基于生成对抗网络的模型纹理生成方法。
技术介绍
模型纹理在三维模型制作领域中有着举足轻重的地位。三维模型是由许多三角形面片组合而成，但是这些三角形面片本身没有颜色数值。如果想要三维模型表面拥有色彩感和凹凸感，则必须制作纹理贴图，通过特定的方式将其映射到模型表面，从而让模型拥有更加逼真的视觉效果。因此，一个模型的逼真细腻程度取决于其纹理的精细度。目前，模型纹理的主要制作方法是由美术工程师先对模型进行UV展开，设置好纹理布局，再使用专业的数码绘图软件手工绘制相应的纹理图案。纹理最终的显示效果好坏完全取决于美术工程师的专业素养和能力。随着渲染技术的提升，纹理的精细度要求不断增加。这不仅增加了绘制纹理的时间成本，也大大提高了纹理制作的专业门槛，加大了人力物力成本。还有一种模型纹理的生成方法，是通过现实拍照采样获得纹理图片，再合成到三维模型上。然而通过这种方法获得纹理图片会受到现实光照条件的影响，不用的采样环境和采样位置会导致纹理图片的光照方式不用，从而使得最后纹理着色时不同纹理的色差较大，同时纹理边界处会有叠色和裂纹的现象。针对这种情况，本专利技术提出一种基于生成对抗网络的模型纹理生成方法。通过大量真实图片训练，由生成对抗网络快速生成纹理图片。所得的纹理图片真实度无限逼近真实图片，保证了纹理极强的真实感和极高的精细度。这大大降低了模型纹理的制作门槛，纹理制作人员无需较高的美术素养也能制作出精美的模型纹理。同时，由于是在虚拟环境下生成，可以控制统一的光照条件，保证每张纹理图片的一致性，使模型的纹理不会产生割裂感。相对于传统的手工制作和现实采样，这种方法极大的提高了纹理的制作效率，降低了制作成本，同时具有良好的显示效果。
技术实现思路
针对现有的纹理制作流程所存在的上述缺陷，本专利技术提出一种基于生成对抗网络的模型纹理生成方法，利用训练好的生成对抗网络快速生成高质量的纹理图片，极大了节约了时间成本，降低了制作门槛。一种基于生成对抗网络的模型纹理生成方法，包括如下步骤：步骤(1)对输入的无纹理贴图的三维模型，根据给定的采样规则，从多个视角获取模型的采样图；步骤(2)对步骤(1)中的采样图做边缘检测处理，将采样图转化为线框图；步骤(3)搭建并训练生成彩色纹理的生成对抗网络，然后将步骤(2)中的线框图作为网络的输入，通过生成对抗网络的处理，输出彩色纹理图；步骤(4)将步骤(3)中的多张彩色纹理图映射到原三维模型上，实现纹理着色，获得具有纹理贴图的三维模型。所述的步骤(1)中，对输入的无纹理贴图的三维模型，根据给定的采样规则，从多个视角获取模型的采样图，具体包括如下步骤：1-1.通过设置模型的坐标，将模型的中心位置移动到虚拟世界的坐标原点，1-2.设置相机的初始位置、镜头朝向和视口大小，获取投影矩阵；1-3.根据设定的多个采样点，依次进行模型采样，具体的：1-3-1.获取当前相机视口中的像素数据，导出采样图，并将相机移动到下一个采样点位置；1-3-2.重复步骤1-3-1，直至相机在所有采样点位置均完成采样。所述的步骤(2)对步骤(1)中的采样图做边缘检测处理，将采样图转化为线框图，具体包括如下步骤：2-1.计算采样图各像素的梯度和方向，找出所有边缘的集合，具体的：2-1-1.使用Sobel算子分别计算x方向和y方向的梯度其中，Sx和Sv为Sobel算子，f(x，y)为要计算的像素点灰度值，Gx表示像素点x方向的梯度，Gy表示像素点y方向的梯度；2-1-2.计算像素点的总梯度和方向θ＝arctan(Gy/Gx)其中，G为梯度强度，θ为梯度方向；2-2.使用非极大值抑制，对采样图做边缘稀疏处理，如果当前像素的梯度值大于沿正负梯度方向两个像素的梯度值，则保留当前像素点，否则剔除该像素点，2-3.设置高低两个阈值，筛选出强边缘像素和弱边缘像素。如果该像素的梯度值大于等于高阈值，则该像素为强边缘像素；如果该像素的梯度值小于高阈值且大于低阈值，则该像素为弱边缘像素；如果该像素的梯度值小于弱阈值，则将其剔除，2-4.遍历弱边缘像素及其8领域内的像素点，如果没有发现任何强边缘像素，则将该像素点剔除。所述的步骤(3)搭建并训练生成彩色纹理的生成对抗网络，然后将步骤(2)中的线框图作为网络的输入，通过生成对抗网络的处理，输出彩色纹理图，具体包括如下步骤：3-1.搭建生成对抗网络中的生成网络和判别网络，其中生成网络由八个卷积层和八个反卷积层构成，判别网络由五个卷积层构成，3-2.输入数据集，训练网络模型。其中，生成网络是将一张512*512的单通道线框图输入到网络中，输出一张512*512的三通道彩色图，而判别网络是将生成网络输出的彩色图与数据集中的真实图合并成一组512*512*6的数据，输入到网络中，输出一组30*30*1的数据，然后求和取平均，用于判别输入彩色图的真实性，两种网络的损失函数如下：3-2-1.生成网络的损失函数为：其中，为L1正则，x表示输入的线框图，y表示真实的彩色图，z表示生成网络的噪音数据，D表示判别网络的输出结果，是一个30*30的矩阵；G表示生成网络输出的一张彩色纹理图；E表示将矩阵所有元素求和取平均；λ是一个常量参数；3-2-2.判别网络的损失函数为：其中，x表示输入的线框图，y表示真实的彩色图，z表示生成网络的噪音数据，D表示判别网络的输出结果，是一个30*30的矩阵；G表示生成网络输出的一张彩色纹理图；E表示将矩阵所有元素求和取平均；3-3.将步骤(2)中的线框图依次输入到训练完毕的生成网络中，输出对应的彩色纹理图。所述的步骤(4)将步骤(3)中的多张彩色纹理图映射到原三维模型上，实现纹理着色，获得具有纹理贴图的三维模型，具体包括如下步骤：4-1.选择一个采样点与其对应的彩色纹理，根据当前采样点对模型的投影矩阵，将生成的彩色纹理各像素颜色映射到模型的对应顶点上，如果该顶点已经有颜色参数，则将该顶点颜色与纹理像素颜色求平均，成为新的顶点颜色，4-2.重复步骤4-1，直至所有采样点获取的彩色纹理全部映射完毕。本专利技术有益效果如下：通过真实图片的训练，保证了生成对抗网络输出的纹理图片拥有极强的真实感和极高的精细度，大幅度降低了纹理贴图的制作成本。同时，生成对抗网络由大量的数据集做训练，使得网络能够适应多种样式的纹理生成，并快速产出大量的纹理图片，保证了纹理生成的多样性，提升了纹理生成的效率。本方法广泛适用于影视、游戏、动画等多领域的模型纹理制作，可以至少节约一半的制作成本。附图说明图1为模型纹理生成方法流程示意图；图2为边缘检测流程示意图；图3(a)生成网络模型框架示意图。图3(b)判别网络模型框架示意图。具体实施方式为了更为具体地描述本专利技术，下面结合附图及具体实施方式对本专利技术的模型纹理生成方法进行详细说明。如图1所示，一种基于生成对抗网络的模型纹理生成方法，包括如下步骤：步骤(1)中，对输入的模型，即无纹理贴图的三维模型，根据给定的采样规则，从多个视角获取模型的采样图片，具体包括如下步骤：1-1.通过设置模型的坐标，将模型的中心位置移动到虚拟世界的坐标原点，1-2.设置相机的初始位置、镜头朝向和视口大小，1-3.根据设定的多个采本文档来自技高网...

【技术保护点】
1.一种基于生成对抗网络的模型纹理生成方法，其特征在于包括如下步骤：步骤(1)对输入的无纹理贴图的三维模型，根据给定的采样规则，从多个视角获取模型的采样图；步骤(2)对步骤(1)中的采样图做边缘检测处理，将采样图转化为线框图；步骤(3)搭建并训练生成彩色纹理的生成对抗网络，然后将步骤(2)中的线框图作为网络的输入，通过生成对抗网络的处理，输出彩色纹理图；步骤(4)将步骤(3)中的多张彩色纹理图映射到原三维模型上，实现纹理着色，获得具有纹理贴图的三维模型；所述的步骤(1)中，对输入的无纹理贴图的三维模型，根据给定的采样规则，从多个视角获取模型的采样图，具体包括如下步骤：1‑1.通过设置模型的坐标，将模型的中心位置移动到虚拟世界的坐标原点，1‑2.设置相机的初始位置、镜头朝向和视口大小，获取投影矩阵；1‑3.根据设定的多个采样点，依次进行模型采样，具体的：1‑3‑1.获取当前相机视口中的像素数据，导出采样图，并将相机移动到下一个采样点位置；1‑3‑2.重复步骤1‑3‑1，直至相机在所有采样点位置均完成采样。

【技术特征摘要】
1.一种基于生成对抗网络的模型纹理生成方法，其特征在于包括如下步骤：步骤(1)对输入的无纹理贴图的三维模型，根据给定的采样规则，从多个视角获取模型的采样图；步骤(2)对步骤(1)中的采样图做边缘检测处理，将采样图转化为线框图；步骤(3)搭建并训练生成彩色纹理的生成对抗网络，然后将步骤(2)中的线框图作为网络的输入，通过生成对抗网络的处理，输出彩色纹理图；步骤(4)将步骤(3)中的多张彩色纹理图映射到原三维模型上，实现纹理着色，获得具有纹理贴图的三维模型；所述的步骤(1)中，对输入的无纹理贴图的三维模型，根据给定的采样规则，从多个视角获取模型的采样图，具体包括如下步骤：1-1.通过设置模型的坐标，将模型的中心位置移动到虚拟世界的坐标原点，1-2.设置相机的初始位置、镜头朝向和视口大小，获取投影矩阵；1-3.根据设定的多个采样点，依次进行模型采样，具体的：1-3-1.获取当前相机视口中的像素数据，导出采样图，并将相机移动到下一个采样点位置；1-3-2.重复步骤1-3-1，直至相机在所有采样点位置均完成采样。2.根据权利要求1所述的一种基于生成对抗网络的模型纹理生成方法，其特征在于所述的步骤(2)对步骤(1)中的采样图做边缘检测处理，将采样图转化为线框图，具体包括如下步骤：2-1.计算采样图各像素的梯度和方向，找出所有边缘的集合，具体：2-1-1.使用Sobel算子分别计算x方向和y方向的梯度其中，Sx和Sy为Sobel算子，f(x，y)为要计算的像素点灰度值，Gx表示像素点x方向的梯度，Gy表示像素点y方向的梯度；2-1-2.计算像素点的总梯度和方向：θ＝arctan(Gy/Gx)其中，G为梯度强度，θ为梯度方向；2-2.使用非极大值抑制，对采样图做边缘稀疏处理，如果当前像素的梯度值大于沿正负梯度方向两个像素的梯度值，则保留当前像素点，否则剔除该像素点；2-3.设置高低两个阈值，筛选出强边缘像素和弱边缘像素；如果该像素的梯度值大于等于高阈值，则该像素为强边缘像素；如果该像素的梯度值小于高阈值且大于低阈值，则该像素为弱边缘像素；如果该像素的梯度值小于弱阈值，则将其剔除；2...

【专利技术属性】
技术研发人员：黄枭，王毅刚，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江,33