一种纹理识别模型的训练、纹理迁移方法与相关装置制造方法及图纸

本发明专利技术提供了一种纹理识别模型的训练、纹理迁移方法与相关装置，该方法包括：获取第一图像数据；调用贴图检测网络从第一图像数据中提取多帧纹理贴图；调用参数检测网络从第一图像数据中提取纹理参数；将纹理贴图与纹理参数可微分地渲染至第一图像数据中的场景，获得第二图像数据；以第二图像数据作为监督信号，训练贴图检测网络与参数检测网络，贴图检测网络、参数检测网络不仅属于自动化操作，用户无感知，学习门槛低，而且具备将纹理渲染至场景的能力，使得设计师可以减少在纹理处理方面的操作，提高了操作的简便性，降低了建模耗费的时间和精力，从而提高了效率、降低了成本。降低了成本。降低了成本。

【技术实现步骤摘要】
一种纹理识别模型的训练、纹理迁移方法与相关装置


[0001]本专利技术涉及计算机视觉的
，尤其涉及一种纹理识别模型的训练、纹理迁移方法与相关装置。

技术介绍

[0002]在游戏、视频娱乐等场景中，要对人物、道具、建筑等场景进行建模，即，对人物、道具、建筑等场景按照比例设计物体。
[0003]目前，建模的工作通常是设计师人工使用建模引擎实现的，建模引擎的学习门槛较高，操作较为繁琐，使得设计师建模需要花费大量的时间和精力，成本较高，效率较低。

技术实现思路

[0004]本专利技术提出了一种纹理识别模型的训练、纹理迁移方法与相关装置，以解决建模的成本较高、效率较低的问题。
[0005]第一方面，本专利技术实施例提供了一种纹理识别模型的训练方法，所述纹理识别模型包括贴图检测网络、参数检测网络，所述方法包括：
[0006]获取第一图像数据；
[0007]调用所述贴图检测网络从所述第一图像数据中提取多帧纹理贴图；
[0008]调用所述参数检测网络从所述第一图像数据中提取纹理参数；
[0009]将所述纹理贴图与所述纹理参数可微分地渲染至所述第一图像数据中的场景，获得第二图像数据；
[0010]以所述第二图像数据作为监督信号，训练所述贴图检测网络与所述参数检测网络。
[0011]第二方面，本专利技术实施例还提供了一种纹理迁移方法，包括：
[0012]加载纹理识别模型，所述纹理识别模型包括贴图检测网络、参数检测网络，获取第一图像数据；
>[0013]调用所述贴图检测网络从所述第一图像数据中提取多帧纹理贴图；
[0014]调用所述参数检测网络从所述第一图像数据中提取纹理参数；
[0015]将所述纹理贴图与所述纹理参数可微分地渲染至独立于所述第一图像数据的场景中，获得第二图像数据。
[0016]第三方面，本专利技术实施例还提供了一种纹理识别模型的训练装置，所述纹理识别模型包括贴图检测网络、参数检测网络，所述装置包括：
[0017]图像数据获取模块，用于获取第一图像数据；
[0018]纹理贴图提取模块，用于调用所述贴图检测网络从所述第一图像数据中提取多帧纹理贴图；
[0019]纹理参数提取模块，用于调用所述参数检测网络从所述第一图像数据中提取纹理参数；
[0020]图像数据渲染模块，用于将所述纹理贴图与所述纹理参数可微分地渲染至所述第一图像数据中的场景，获得第二图像数据；
[0021]网络训练模块，用于以所述第二图像数据作为监督信号，训练所述贴图检测网络与所述参数检测网络。
[0022]第四方面，本专利技术实施例还提供了一种纹理迁移装置，包括：
[0023]纹理识别模型加载模块，用于加载纹理识别模型，所述纹理识别模型包括贴图检测网络、参数检测网络，
[0024]图像数据获取模块，用于获取第一图像数据；
[0025]纹理贴图提取模块，用于调用所述贴图检测网络从所述第一图像数据中提取多帧纹理贴图；
[0026]纹理参数提取模块，用于调用所述参数检测网络从所述第一图像数据中提取纹理参数；
[0027]图像数据渲染模块，用于将所述纹理贴图与所述纹理参数可微分地渲染至独立于所述第一图像数据的场景中，获得第二图像数据。
[0028]第五方面，本专利技术实施例还提供了一种计算机设备，所述计算机设备包括：
[0029]一个或多个处理器；
[0030]存储器，用于存储一个或多个程序，
[0031]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的纹理识别模型的训练方法或者如第二方面所述的纹理迁移方法。
[0032]第六方面，本专利技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的纹理识别模型的训练方法或者如第二方面所述的纹理迁移方法。
[0033]在本实施例中，获取第一图像数据；调用贴图检测网络从第一图像数据中提取多帧纹理贴图；调用参数检测网络从第一图像数据中提取纹理参数；将纹理贴图与纹理参数可微分地渲染至第一图像数据中的场景，获得第二图像数据；以第二图像数据作为监督信号，训练贴图检测网络与参数检测网络，贴图检测网络、参数检测网络不仅属于自动化操作，用户无感知，学习门槛低，而且具备将纹理渲染至场景的能力，使得设计师可以减少在纹理处理方面的操作，提高了操作的简便性，降低了建模耗费的时间和精力，从而提高了效率、降低了成本，此外，将贴图检测网络、参数检测网络作为一个整体进行训练，使得第二图像数据可作为整体的监督信号，来学习贴图检测网络的参数、参数检测网络的参数，而无需真实的纹理参数作为监督信号，从而实现自监督学习，避免了制作真实的纹理参数的操作，降低训练图检测网络、参数检测网络的难度。
附图说明
[0034]图1为本专利技术实施例一提供的一种纹理识别模型的训练方法的流程图；
[0035]图2为本专利技术实施例一提供的一种贴图检测网络的结构示意图；
[0036]图3为本专利技术实施例一提供的一种参数检测网络的结构示意图；
[0037]图4是本专利技术实施例二提供的一种纹理迁移方法的流程图；
[0038]图5是本专利技术实施例二提供的一种纹理迁移过程的示意图；
[0039]图6为本专利技术实施例三提供的一种纹理识别模型的训练装置的结构示意图；
[0040]图7为本专利技术实施例四提供的一种纹理迁移装置的结构示意图；
[0041]图8为本专利技术实施例五提供的一种计算机设备的结构示意图。
具体实施方式
[0042]下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。
[0043]实施例一
[0044]图1为本专利技术实施例一提供的一种纹理识别模型的训练方法的流程图，本实施例可适用于自监督训练纹理识别模型的情况，该方法可以由纹理识别模型的训练装置来执行，该纹理识别模型的训练装置可以由软件和/或硬件实现，可配置在计算机设备中，例如，服务器、工作站、个人电脑，等等，具体包括如下步骤：
[0045]步骤101、获取第一图像数据。
[0046]在本实施例中，可以通过公开的数据集、等渠道采集多帧第一图像数据，第一图像数据为真实场景下的拍摄的二维图像数据，在真实场景中具有人物、动物、工具、建筑等对象，这些对象具备真实的纹理。
[0047]步骤102、调用贴图检测网络从第一图像数据中提取多帧纹理贴图。
[0048]在本实施例中，纹理识别模型包括贴图检测网络，贴图检测网络属于重构网络，如全卷积网络，用于从第一图像数据中解析出某个对象的多帧纹理贴图，即，贴图检测网络的输入为第一图像数据，输出为某个对象的多帧纹理贴图。
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种纹理识别模型的训练方法，其特征在于，所述纹理识别模型包括贴图检测网络、参数检测网络，所述方法包括：获取第一图像数据；调用所述贴图检测网络从所述第一图像数据中提取多帧纹理贴图；调用所述参数检测网络从所述第一图像数据中提取纹理参数；将所述纹理贴图与所述纹理参数可微分地渲染至所述第一图像数据中的场景，获得第二图像数据；以所述第二图像数据作为监督信号，训练所述贴图检测网络与所述参数检测网络。2.根据权利要求1所述的方法，其特征在于，所述贴图检测网络包括编码器、池化层、解码器；所述调用所述贴图检测网络从所述第一图像数据中提取多帧纹理贴图，包括：将所述第一图像数据输入所述编码器中执行编码操作，获得目标编码特征；将所述目标编码特征输入所述池化层中执行池化操作，获得目标池化特征；将所述目标池化特征输入所述解码层中执行解码操作，获得多帧纹理贴图。3.根据权利要求2所述的方法，其特征在于，所述编码器包括第一编码块、第二编码块、第三编码块，所述池化层包括空洞空间卷积池化金字塔，所述解码器包括第一解码块、第二解码块、第三解码块；所述将所述第一图像数据输入所述编码器中执行编码操作，获得目标编码特征，包括：将所述第一图像数据输入所述第一编码块中下采样，获得第一候选编码特征；将所述第一候选编码特征输入所述第二编码块中下采样，获得第二候选编码特征；将所述第二候选编码特征输入所述第三编码块中下采样，获得目标编码特征；所述将所述目标编码特征输入所述池化层中执行池化操作，获得目标池化特征，包括：将所述目标编码特征输入所述空洞空间卷积池化金字塔中执行多个尺度下的空洞卷积，得到多个候选池化特征，将多个所述候选池化特征融合为目标池化特征；所述将所述目标池化特征输入所述解码层中执行解码操作，获得多帧纹理贴图，包括：将所述目标池化特征输入所述第一解码块中上采样，获得第一解码特征；将所述第一解码特征与所述第二候选编码特征输入所述第二解码块中上采样，获得第二解码特征；将所述第二解码特征与所述第一候选编码特征输入所述第三解码块中上采样，获得多帧纹理贴图；其中，所述纹理贴图包括如下至少一种：漫反射贴图、高光贴图、法线贴图、粗糙度贴图。4.根据权利要求1所述的方法，其特征在于，所述参数检测网络包括特征提取网络、多层感知机；所述调用所述参数检测网络从所述第一图像数据中提取纹理参数，包括：将所述第一图像数据输入所述特征提取网络中提取纹理特征；将所述纹理特征输入所述多层感知机中映射为纹理参数。5.根据权利要求4所述的方法，其特征在于，所述特征提取网络包括第一残差块、第二残差块、第三残差块，所述多层感知机包括第一全连接层、第二全连接层；
所述将所述第一图像数据输入所述特征提取网络中提取纹理特征，包括：将所述第一图像数据输入所述第一残差块中提取第一残差特征；将所述第一残差特征输入所述第二残差块中提取第二残差特征；将所述第二残差特征输入所述第三残差块中提取纹理特征；所述将所述纹理特征输入所述多层感知机中映射为纹理参数，包括：将所述纹理特征输入所述第一全连接层中映射为候选参数；将所述候选参数输入所述第二全连接层中映射为纹理参数。6.根据权利要求1
‑
5中任一项所述的方法，其特征在于，所述将所述纹理贴图与所述纹理参数可微分地渲染至所述第一图像数据中的场景，获得第二图像数据，包括：查询所述第一图像数据中场景的几何参数；将所...

【专利技术属性】
技术研发人员：胡忠冰，张彤，
申请(专利权)人：百果园技术新加坡有限公司，
类型：发明
国别省市：