本发明专利技术提供一种基于单张手绘草图的三维模型生成方法、装置和电子设备，包括：获取单张手绘草图；将所述单张手绘草图输入三维构建模型，输出所述单张手绘草图对应的三维模型；其中，所述三维构建模型是基于单张手绘草图样本和对应的视角标签进行训练得到的，所述三维构建模型中包括视角预测网络，用于提取输入单张手绘草图的预测视角。本发明专利技术提供的方法、装置和电子设备，可以预测用户提供的手绘草图的视角，使得后续生成的三维模型在预测视角的基础上避免歧义。上避免歧义。上避免歧义。
【技术实现步骤摘要】
基于单张手绘草图的三维模型生成方法、装置和电子设备
[0001]本专利技术涉及三维模型生成
，尤其涉及一种基于单张手绘草图的三维模型生成方法、装置和电子设备。
技术介绍
[0002]三维模型的构建是几何绘制的基础，基于草图的三维建模可以协助相关工作人员完成费时费力的建模操作。现有的基于草图的三维建模方法主要可以分为检索式和构建式两类。其中，检索式方法将预定义好的模板元模型组成三维模型，或直接从模型集合中进行检索抽取；构建式方法则直接将输入的笔画映射至三维模型，相比检索式方法可以提供自由度更高的建模能力。这两种方法都有着明显的弊端：检索式方法只能生成特定的三维模型，或只能由某些基本形状组成的三维模型；而构建式方法由于缺少先验知识，通常需要较大的工作量才能得到令用户满意的结果。此外，随着触摸屏的普及，以及VR/AR技术的发展，非专业用户对于三维内容创作的需求愈发增长，而以上两种方法都不能满足普通用户对于易用性和可定制性的需求。
[0003]为了满足普通用户的三维内容创作需求，一些工作借助深度学习技术尝试从单张手绘草图生成三维模型。Wang等人提出“Unsupervised learning of 3D model reconstruction from hand
‑
drawn sketches”，通过检索的方式从手绘草图生成体素表示的三维模型。Wang等人提出“3D shape reconstruction from free
‑
hand sketches”，可以从单张手绘草图生成点云表示的三维模型。上述两个方法一方面没有直接生成三角网格表示的三维模型，无法直接用于后续的编辑和绘制；另一方面忽视了手绘草图中普遍存在的歧义性，所生成的三维模型不能很好地表示用户的意图。
[0004]因此，如何避免现有的基于手绘草图生成的三维模型由于无法估计用户的视角意图造成三维模型歧义严重的情况，仍然是本领域技术人员亟待解决的问题。
技术实现思路
[0005]本专利技术提供一种基于单张手绘草图的三维模型生成方法、装置和电子设备，用以解决现有的基于手绘草图生成的三维模型由于无法估计用户的视角意图造成三维模型歧义严重的问题，通过在进行三维构建模型训练时引入视角标签使得训练出来的三维构建模型可以预测用户草图的准确视角，该准确视角在三维构建模型中可以提供视角信息使得构建好的三维模型的视角与草图视角一致，避免三维模型相对于草图的存在歧义。
[0006]本专利技术提供一种基于单张手绘草图的三维模型生成方法，该方法包括：
[0007]获取单张手绘草图；
[0008]将所述单张手绘草图输入三维构建模型，输出所述单张手绘草图对应的三维模型；
[0009]其中，所述三维构建模型是基于单张手绘草图样本和对应的视角标签进行训练得到的，所述三维构建模型中包括视角预测网络，用于提取输入单张手绘草图的预测视角。
[0010]根据本专利技术提供的一种基于单张手绘草图的三维模型生成方法，
[0011]所述三维构建模型的网络结构包括依次连接的图像编码器、所述视角预测网络、视角编码器和三维生成网络，所述图像编码器与所述三维生成网络连接。
[0012]根据本专利技术提供的一种基于单张手绘草图的三维模型生成方法，所述三维构建模型的网络结构包括依次连接的图像编码器、所述视角预测网络、视角编码器和三维生成网络，所述图像编码器与所述三维生成网络连接，具体包括：
[0013]所述三维构建模型的训练过程中，
[0014]图像编码器用于将输入的单张手绘草图样本进行编码得到形状特征向量和视角特征向量并分别输出至三维生成网络和视角预测网络；
[0015]所述视角预测网络用于对所述视角特征向量进行预测解码得到预测视角，基于所述预测视角与对应的视角标签确定预测视角误差；
[0016]视角编码器用于将输入所述对应的视角标签进行编码得到新的视角特征向量输出至三维生成网络；
[0017]所述三维生成网络基于所述新的视角特征向量和所述形状特征向量生成预测三维模型；
[0018]在所述三维构建模型的输出端连接可微渲染模块，所述可微渲染模块基于预测三维模型生成预测掩模，基于所述预测掩模和标准掩模确定预测三维模型误差；
[0019]训练过程中的损失函数是基于所述预测三维模型误差和所述预测视角误差构建的。
[0020]根据本专利技术提供的一种基于单张手绘草图的三维模型生成方法，
[0021]所述训练过程中的损失函数是基于所述预测三维模型误差和所述预测视角误差构建的，具体包括：
[0022]所述预测三维模型误差基于所述预测掩模和所述标准掩模之间的误差表征，所述标准掩模为所述单张手绘草图样本的掩模。
[0023]根据本专利技术提供的一种基于单张手绘草图的三维模型生成方法，
[0024]所述预测掩模包括所述预测三维模型在所述对应的视角标签下的掩模和基于随机视角构建的随机预测三维模型在所述随机视角下的掩模。
[0025]根据本专利技术提供的一种基于单张手绘草图的三维模型生成方法，所述损失函数，具体包括：
[0026]所述预测三维模型在所述对应的视角标签下的掩模与所述单张手绘草图样本和所述标准掩模之间的交并比，基于随机视角构建的随机预测三维模型在所述随机视角下的掩模与所述标准掩模之间的交并比，以及，
[0027]所述对应的视角标签和所述随机视角在经过形状判别器之后的交叉熵。
[0028]根据本专利技术提供的一种基于单张手绘草图的三维模型生成方法，该方法还包括：
[0029]获取所述单张手绘草图对应的指定视角；
[0030]相应地，所述将所述单张手绘草图输入三维构建模型，输出所述单张手绘草图对应的三维模型，包括：
[0031]将所述单张手绘草图输入所述三维构建模型的图像编码器输出形状特征向量至所述三维构建模型；
[0032]将所述指定视角输入所述视角编码器输出指定视角向量特征至所述三维构建模型；
[0033]所述三维构建模型基于所述形状特征向量和所述指定视角向量特征生成三维模型。
[0034]本专利技术还提供一种基于单张手绘草图的三维模型生成装置，包括：
[0035]获取单元，用于获取单张手绘草图；
[0036]构建单元，用于将所述单张手绘草图输入三维构建模型，输出所述单张手绘草图对应的三维模型；
[0037]其中，所述三维构建模型是基于单张手绘草图样本和对应的视角标签进行训练得到的，所述三维构建模型中包括视角预测网络，用于提取输入单张手绘草图的预测视角。
[0038]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述的基于单张手绘草图的三维模型生成方法的步骤。
[0039]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于单张手绘草图的三维模型生成方法，其特征在于，包括：获取单张手绘草图；将所述单张手绘草图输入三维构建模型，输出所述单张手绘草图对应的三维模型；其中，所述三维构建模型是基于单张手绘草图样本和对应的视角标签进行训练得到的，所述三维构建模型中包括视角预测网络，用于提取输入单张手绘草图的预测视角。2.根据权利要求1所述的基于单张手绘草图的三维模型生成方法，其特征在于，所述三维构建模型的网络结构包括依次连接的图像编码器、所述视角预测网络、视角编码器和三维生成网络，所述图像编码器与所述三维生成网络连接。3.根据权利要求2所述的基于单张手绘草图的三维模型生成方法，其特征在于，所述三维构建模型的网络结构包括依次连接的图像编码器、所述视角预测网络、视角编码器和三维生成网络，所述图像编码器与所述三维生成网络连接，具体包括：所述三维构建模型的训练过程中，图像编码器用于将输入的单张手绘草图样本进行编码得到形状特征向量和视角特征向量并分别输出至三维生成网络和视角预测网络；所述视角预测网络用于对所述视角特征向量进行预测解码得到预测视角，基于所述预测视角与对应的视角标签确定预测视角误差；视角编码器用于将输入所述对应的视角标签进行编码得到新的视角特征向量输出至三维生成网络；所述三维生成网络基于所述新的视角特征向量和所述形状特征向量生成预测三维模型；在所述三维构建模型的输出端连接可微渲染模块，所述可微渲染模块基于预测三维模型生成预测掩模，基于所述预测掩模和标准掩模确定预测三维模型误差；训练过程中的损失函数是基于所述预测三维模型误差和所述预测视角误差构建的。4.根据权利要求3所述的基于单张手绘草图的三维模型生成方法，其特征在于，所述训练过程中的损失函数是基于所述预测三维模型误差和所述预测视角误差构建的，具体包括：所述预测三维模型误差基于所述预测掩模和所述标准掩模之间的误差表征，所述标准掩模为所述单张手绘草图样本的掩模。5.根据权利要求4所述的基于单张手绘草图的三维模型生成方...
【专利技术属性】
技术研发人员：张松海，郭元晨，顾清雯，
申请(专利权)人：清华大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。