【技术实现步骤摘要】
纹理生成模型的训练方法、图像处理方法及装置
[0001]本专利技术涉及图像生成
，尤其是涉及一种纹理生成模型的训练方法、图像处理方法及装置。
技术介绍
[0002]纹理生成是一种图片生成技术，该技术可以根据输入的图片生成相应的纹理贴图，例如可以根据输入的人体图像生成人体模型的纹理贴图，从而为重建的人体模型(Mesh)添加纹理贴图。目前，相关技术中提出可以利用卷积神经网络提取输入图像的图像特征，并从图像特征中对每个顶点进行采样得到每个顶点的颜色特征，然后将每个顶点的颜色特征送入MLP(Multi
‑
Layer Perceptron，多层感知器)中得到最终预测的顶点颜色，从而基于顶点颜色所表征的纹理进行渲染，然而采用这种方式生成的纹理往往会导致渲染得到的表面过于平滑，纹理质量较差，且由于该方法生成的纹理受光照影响，所以将导致生成的纹理带有阴影。
技术实现思路
[0003]有鉴于此，本专利技术的目的在于提供一种纹理生成模型的训练方法、图像处理方法及装置，训练得到的纹理生成模型可以生成质量较高...
【技术保护点】
【技术特征摘要】
1.一种纹理生成模型的训练方法，其特征在于，包括：获取预渲染得到的训练图像；将所述训练图像输入至纹理生成模型，通过所述纹理生成模型针对所述训练图像输出第一光照参数和第一纹理集；基于所述第一光照参数、所述第一纹理集和预设的联合损失函数计算联合损失值；利用所述联合损失值对所述纹理生成模型进行训练。2.根据权利要求1所述的方法，其特征在于，所述纹理生成模型包括光照估计网络和纹理预测网络；所述通过所述纹理生成模型针对所述训练图像输出第一光照参数和第一纹理集的步骤，包括：通过所述光照估计网络估计所述训练图像的第一光照参数，以及通过所述纹理预测网络生成所述训练图像的第一纹理集。3.根据权利要求2所述的方法，其特征在于，所述光照估计网络包括下采样卷积层和多层感知层；所述通过所述光照估计网络估计所述训练图像的第一光照参数的步骤，包括：通过所述下采样卷积层提取所述训练图像的光照特征；通过所述多层感知层根据所述光照特征输出所述训练图像的第一光照参数；其中，所述第一光照参数包括环境参数、散射参数、光照强度中的一种或多种。4.根据权利要求2所述的方法，其特征在于，所述纹理预测网络包括特征提取模块、特征补全模块和纹理解码模块；所述通过所述纹理预测网络生成所述训练图像的第一纹理集的步骤，包括：通过所述特征提取模块提取所述训练图像的可见面片特征和第一不可见面片特征；通过所述特征补全模块基于所述可见面片特征对所述第一不可见面片特征进行补全，得到第二不可见面片特征；通过所述纹理解码模块分别对所述可见面片特征和所述第二不可见面片特征进行解码，得到所述训练图像的第一纹理集。5.根据权利要求4所述的方法，其特征在于，所述通过所述特征提取模块提取所述训练图像的可见面片特征和第一不可见面片特征的步骤，包括：通过所述特征提取模块内的特征编码器对所述训练图像进行特征提取，得到所述训练图像对应的特征图；基于所述训练图像中各个像素的深度值对所述特征图进行采样，得到可见顶点特征和不可见顶点特征；对属于同一面片的可见顶点特征和/或不可见顶点特征进行平均处理，得到所述训练图像的可见面片特征和第一不可见面片特征；其中，如果所述面片包含一个或多个不可见顶点，确定所述面片对应的特征为第一不可见面片特征；如果所述面片不包含所述不可见顶点，确定所述面片对应的特征为可见面片特征。6.根据权利要求5所述的方法，其特征在于，所述基于所述训练图像中各个像素的深度值对所述特征图进行采样，得到可见顶点特征和不可见顶点特征的步骤，包括：判断所述训练图像中各个像素的深度值是否小于预设深度缓冲值；
如果是，确定所述像素为可见顶点；如果否，确定所述像素为不可见顶点；利用双线性插值基于所述可见顶点和所述不可见顶点在所述特征图上进行采样，分别得到可见顶点特征和不可见顶点特征。7.根据权利要求4所述的方法，其特征在于，所述特征补全模块包括图编码器和图解码器；所述通过所述特征补全模块基于所述可见面片特征对所述第一不可见面片特征进行补全，得到第二不可见面片特征的步骤，包括：通过所述图编码器基于所述可见面片特征和所述训练图像对应的几何模型的几何信息，对所述第一不可见面片特征进行卷积操作和下采样操作；其中，所述图编码器包括多个第一图...
【专利技术属性】
技术研发人员：姚光明，袁燚，范长杰，胡志鹏，
申请(专利权)人：网易杭州网络有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。