一种基于语义图像翻译的三维模型纹理合成方法技术

本发明专利技术公开了一种基于语义图像翻译的三维模型纹理合成方法，其方法包括四个步骤，首先使用光栅化渲染技术对三维模型进行多视角渲染，得到六个视角方向的渲染图。接着进行人机交互对这六张渲染图填涂语义标签，不同的颜色代表不同的语义标签，同时将填涂完语义标签的六张渲染图像作为输入数据，输入到对抗神经网络中合成六张风格一致的目标图像。最后将所有合成的目标图像映射到一张纹理图上，以此得到一张可应用的完整纹理图像。本发明专利技术解决了三维模型纹理制作过程中耗时绘制问题，将绘制纹理细节工作简化为填涂语义标签，并使用对抗神经网络合成固定风格的纹理细节，减少了纹理制作过程中的人员工作量。作过程中的人员工作量。作过程中的人员工作量。

【技术实现步骤摘要】
一种基于语义图像翻译的三维模型纹理合成方法
[0001]

[0002]本专利技术涉及图像合成与纹理映射
，尤其是一种基于语义图像翻译的三维模型纹理合成方法。

技术介绍

[0003]三维模型的纹理贴图制作，需要美术工作者对纯几何模型进行展uv将三维模型展开成二维平面，并在这个二维平面上进行绘制材质等工作，这个绘制工作流程繁琐复杂，而随着游戏行业发展，游戏层出不穷，不同场景物品人物都需要不同的模型贴图，美术工作者们生产游戏模型贴图的速度已很难满足高速发展的行业速度。
[0004]以往的模型贴图生成的研究，均利用了互联网上的现有图像资源，来实现从2D图像将纹理迁移至3D模型，但这些方法都需要同一对象多视角的图像作为源数据或者2D图像与3D图像具有较高的相似性，而这类图像的获取较为困难，因此这些方法很难真正地应用在纹理制作中。

技术实现思路

[0005]本专利技术的目的是提供一种基于语义图像翻译的三维模型纹理合成方法，该方法利用对抗神经网络来对填涂的语义标签图像合成对应的目标，利用风格迁移方法来控制合成图像的风格，并利用三角形的重心坐标将多张合成图像映射成为一张纹理贴图。
[0006]实现本专利技术目的的具体技术方案是：一种基于语义图像翻译的三维模型纹理合成方法，利用光栅化渲染几何模型轮廓，在几何模型轮廓图中填涂语义标签加入对抗神经网络中实现纹理合成，该方法包括以下具体步骤：步骤1：光栅化渲染轮廓图并保留三角形信息1.1）将纯几何模型导入渲染器中，选定旋转矩阵和模型矩阵对模型进行调整，实现模型的主视图、俯视图、左视图、右视图、仰视图及后视图的轮廓渲染，并对渲染的轮廓及内部像素值置为255，其余像素值为0；1.2）渲染几何模型除了得到的六张渲染图之外，还将针对每张渲染图所渲染的几何模型中的三角形面片信息进行保存，为每张渲染图生成对应的一个文件，每个文件中记录渲染图中每个像素点的坐标以及该像素点所属几何模型的三角形顶点坐标和该像素的重心坐标；1.3）具有uv坐标信息的几何模型将保留uv坐标信息，并以该uv坐标生成一张初始纹理图供后续着色使用，所述初始纹理图大小设定为1024*1024；而不具有uv坐标信息的几何模型则根据三角形顶点信息计算三角形面积大小为每个三角形顶点分配uv坐标，并以此生成一张初始纹理图像供后续着色使用，此初始纹理图像大小设定为1024*1024；
步骤2：用户交互对渲染视图进行填涂语义标签2.1）将步骤1所得六张渲染视图进行填涂操作，仅使用不同颜色涂抹渲染视图中模型轮廓内部的区域，并为每种颜色所涂区域指定语义信息；2.2）完成填涂后，校准程序对六张视图重叠区域进行涂色检查，若发现语义冲突则提示修改，若无语义冲突则将涂色后的渲染视图输出；步骤3：带有语义信息的渲染视图经过对抗神经网络合成目标图像3.1）将带有语义信息的渲染视图输入对抗神经网络，该网络能够在每层网络中传递语义信息，并且根据语义信息合成对应语义分布的目标图像；3.2）所述对抗神经网络利用编码器学习图像风格，在输入语义分布图像前先任意指定一张互联网上获取的图像作为风格参考图像来进行风格迁移，合成与参考图像风格相似的纹理图像，其编码器将利用3层卷积网络将图像降维至1024维，再利用8个全连接层输出一个512维的潜在编码作为风格特征信息，并在所述对抗神经网络中在两个生成器的输入层与语义特征进行拼接；3.3）所述对抗神经网络利用两个生成器和四个鉴别器来合成高分辨率图像，低分辨率生成器利用U
‑
NET结构输出粗略的合成图像，而高分辨率生成器则采用三层卷积结构对语义图像特征进行提取并输出特征信息，来合并低分辨率生成器输出的粗略合成图像特征信息，再输入到六层卷积层中进行合成高分辨率图像，而六层卷积层作为最后输出层，前四层中每两层卷积层后加入自适应实例归一化层；所述四个鉴别器网络采用Patch
‑
GAN结构，四个鉴别器判别尺度分布是原图、原图1/2降采样、原图1/4降采样和原图1/8降采样；步骤4：多张合成图像映射成一张纹理图4.1）以步骤3.1所述的目标图像为源数据，根据步骤1.1中每张渲染视图所对应的三角形顶点信息和重心坐标信息为参照，对步骤1.3中生成的初始纹理图像进行着色，从源数据中读取像素值，并根据该像素所对应的三角形及其重心坐标得到初始纹理图像中对应的像素，并将读取到的像素值赋予初始纹理图像中的对应像素；4.2）对初始纹理图中发生多次着色矛盾的像素，首先采用多次投票方案，若3次及以上次数中着色一致则采用该像素值，若不存在多次着色颜色一致的像素值，则采用邻近混合方法，采用该像素周围8个像素作加权混合，得到最终像素值。
[0007]步骤1.2所述渲染几何模型除了得到的六张渲染图之外，还将针对每张渲染图所渲染的几何模型中的三角形面片信息进行保存，其中，所述三角面片信息是指三角形顶点坐标和三角形编号信息，并且每张渲染图所渲染的三角形由于可见性的原因，每张渲染图所渲染的三角形数量不一定相等，并数量是小于几何模型中三角形面片总数。
[0008]步骤1.3所述不具有uv坐标信息的几何模型则根据三角形顶点信息计算三角形面积大小为每个三角形顶点分配uv坐标，并以此生成一张初始纹理图像供后续着色使用，是利用三角形顶点坐标信息通过面积公式计算出近似面积大小，初始纹理图按照三角形面片总数划分大小均等的空间，再根据三角形面积大小调整空间大小，面积越大则分配得到的空间越大。
[0009]步骤3.2所述合成与参考图像风格相似的纹理图像，所输出的风格编码除了在生成器的输入层中与语义特征进行拼接，还将风格编码输入到高分辨率生成器的自适应实例归一化层中，实现参考图像风格细节的迁移。
[0010]本专利技术所提出的基于语义图像翻译的三维模型纹理合成方法，将复杂的纹理制作流程进行简化，本专利技术采用光栅化技术渲染几何模型轮廓，并将绘制工作简化为填涂语义标签减少人工劳动，利用对抗神经网络产生高分辨高细节保持的纹理图像，并可以根据输入的参考图像进行风格迁移，指定合成图像的最终风格。
附图说明
[0011]图1为模型多视图轮廓渲染流程图；图2为对抗神经网络生成纹理流程图；图3为专利技术实施流程图。
具体实施方式
[0012]为了便于理解本专利技术，以下结合附图及实施例对本专利技术进行详细说明。
实施例
[0013]参阅图1，本专利技术步骤1中的导入几何模型得到多视图渲染图并保留每张图中被渲染的像素相关的三角形的重心坐标，若几何模型三角形面片中原有uv坐标信息，则根据原uv坐标信息分配初始纹理图上每个三角形所占空间。若几何模型没有uv坐标信息，则根据三角形面积大小和三角形总数分配初始纹理图像素空间，使得每个三角形都在初始纹理图占据适当比例的空间。
[0014]S100：将模型导入光栅化渲染器中，读取几何模型的顶点坐标，三角形面片信息，若存在顶点的uv坐标则读取；S110
‑
S120：对于每个几何模型，设定模型矩阵对模型进行旋转、平移、放缩等操作，直至获得主视图、俯视图、左视图、右视图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于语义图像翻译的三维模型纹理合成方法，其特征在于，该方法包括以下具体步骤：步骤1：光栅化渲染轮廓图并保留三角形信息1.1）将纯几何模型导入渲染器中，选定旋转矩阵和模型矩阵对模型进行调整，实现模型的主视图、俯视图、左视图、右视图、仰视图及后视图的轮廓渲染，并对渲染的轮廓及内部像素值置为255，其余像素值为0；1.2）渲染几何模型除了得到的六张渲染图之外，还将针对每张渲染图所渲染的几何模型中的三角形面片信息进行保存，为每张渲染图生成对应的一个文件，每个文件中记录渲染图中每个像素点的坐标以及该像素点所属几何模型的三角形顶点坐标和该像素的重心坐标；1.3）具有uv坐标信息的几何模型将保留uv坐标信息，并以该uv坐标生成一张初始纹理图供后续着色使用，所述初始纹理图大小设定为1024*1024；而不具有uv坐标信息的几何模型则根据三角形顶点信息计算三角形面积大小为每个三角形顶点分配uv坐标，并以此生成一张初始纹理图像供后续着色使用，此初始纹理图像大小设定为1024*1024；步骤2：用户交互对渲染视图进行填涂语义标签2.1）将步骤1所得六张渲染视图进行填涂操作，仅使用不同颜色涂抹渲染视图中模型轮廓内部的区域，并为每种颜色所涂区域指定语义信息；2.2）完成填涂后，校准程序对六张视图重叠区域进行涂色检查，若发现语义冲突则提示修改，若无语义冲突则将涂色后的渲染视图输出；步骤3：带有语义信息的渲染视图经过对抗神经网络合成目标图像3.1）将带有语义信息的渲染视图输入对抗神经网络，该网络能够在每层网络中传递语义信息，并且根据语义信息合成对应语义分布的目标图像；3.2）所述对抗神经网络利用编码器学习图像风格，在输入语义分布图像前先任意指定一张互联网上获取的图像作为风格参考图像来进行风格迁移，合成与参考图像风格相似的纹理图像，其编码器将利用3层卷积网络将图像降维至1024维，再利用8个全连接层输出一个512维的潜在编码作为风格特征信息，并在所述对抗神经网络中在两个生成器的输入层与语义特征进行拼接；3.3）所述对抗神经网络利用两个生成器和四个鉴别器来合成高分辨率图像，低分辨率生成器利用U
‑
NET结构输出粗略的合成图像，而高分辨率生成器则采用三层卷积结构对语义图像特征进行提取并输出特征信息，来合并...

【专利技术属性】
技术研发人员：阮系标，宋海川，马利庄，
申请(专利权)人：华东师范大学，
类型：发明
国别省市：