三维模型的重建方法、纹理重构模型的训练方法以及装置制造方法及图纸

本申请公开了一种三维模型的重建方法、纹理重构模型的训练方法以及装置，涉及人工智能技术领域。该方法包括从三维模型对应的点云中采样至少一个顶点，得到顶点集合；通过纹理重构模型的编码模块将顶点集合中的各个顶点，分别映射到三个互相垂直的平面中，确定顶点集合对应的三平面特征信息；通过纹理重构模型的解码模块根据三平面特征信息进行顶点重建，确定至少一个重建后的顶点以及至少一个重建后的顶点分别对应的预测信息，预测信息包括重建后的顶点的位置预测信息和颜色预测信息；根据至少一个重建后的顶点分别对应的预测信息，生成重建后的三维模型。上述方法提升了重构后的三维模型的准确程度。维模型的准确程度。维模型的准确程度。

【技术实现步骤摘要】
三维模型的重建方法、纹理重构模型的训练方法以及装置


[0001]本申请实施例涉及人工智能（Artificial Intelligence，简称AI）
，特别涉及一种三维模型的重建方法、纹理重构模型的训练方法以及装置。

技术介绍

[0002]在人工智能
中，构造三维模型逐渐成为一项较为成熟的技术，在类似3D（three Dimensions，三维）打印、游戏、建筑等领域均需要用到三维模型。
[0003]相关技术中，通过大量的样本单纯依靠图像技术，来对三维模型进行渲染增强，以提升三维模型的构造的准确程度。例如，当三维模型的局部有所欠缺，则利用该局部图像对应的颜色与深度四通道信息来对三维模型的局部进行重构。
[0004]而上述相关技术中单纯依靠图像技术重构出来的三维模型的准确度相对较低。

技术实现思路

[0005]本申请实施例提供了一种三维模型的重建方法、纹理重构模型的训练方法以及装置。所述技术方案如下：
[0006]根据本申请实施例的一个方面，提供了一种三维模型的重建方法，所述方法包括以下步骤。
[0007]从所述三维模型对应的点云中采样至少一个顶点，得到顶点集合，所述顶点集合中的顶点对应有顶点信息，所述顶点信息包括所述顶点的位置信息和颜色信息。
[0008]通过纹理重构模型的编码模块将所述顶点集合中的各个顶点，分别映射到三个互相垂直的平面中，确定所述顶点集合对应的三平面特征信息，所述三平面特征信息用于深层表征所述顶点集合中的各个顶点的位置信息和颜色信息。
[0009]通过所述纹理重构模型的解码模块根据所述三平面特征信息进行顶点重建，确定至少一个重建后的顶点以及所述至少一个重建后的顶点分别对应的预测信息，所述预测信息包括所述重建后的顶点的位置预测信息和颜色预测信息。
[0010]根据所述至少一个重建后的顶点分别对应的预测信息，生成重建后的三维模型。
[0011]根据本申请实施例的一个方面，提供了一种纹理重构模型的训练方法，所述方法包括以下步骤。
[0012]从样本三维模型对应的点云中采样至少一个顶点，得到顶点集合，所述顶点集合中的顶点对应有顶点信息，所述顶点信息包括所述顶点的位置信息和颜色信息，所述样本三维模型中的各个顶点分别对应有顶点标注信息。
[0013]通过所述纹理重构模型的编码模块将所述顶点集合中的各个顶点，分别映射到三个互相垂直的平面中，确定所述顶点集合对应的三平面特征信息，所述三平面特征信息用于深层表征所述顶点集合中的各个顶点的位置信息和颜色信息。
[0014]通过所述纹理重构模型的解码模块根据所述三平面特征信息进行顶点重建，确定至少一个重建后的顶点以及所述至少一个重建后的顶点分别对应的预测信息，所述预测信
息包括所述重建后的顶点的位置预测信息以及颜色预测信息。
[0015]根据所述至少一个重建后的顶点分别对应的预测信息以及所述样本三维模型中的各个顶点分别对应的顶点标注信息，确定重建损失。
[0016]以最小化所述重建损失为目的，对所述纹理重构模型的参数进行调整，得到完成训练的纹理重构模型。
[0017]根据本申请实施例的一个方面，提供了一种三维模型的重建装置，所述装置包括以下模块。
[0018]采样模块，用于从所述三维模型对应的点云中采样至少一个顶点，得到顶点集合，所述顶点集合中的顶点对应有顶点信息，所述顶点信息包括所述顶点的位置信息和颜色信息。
[0019]特征确定模块，用于通过纹理重构模型的编码模块将所述顶点集合中的各个顶点，分别映射到三个互相垂直的平面中，确定所述顶点集合对应的三平面特征信息，所述三平面特征信息用于深层表征所述顶点集合中的各个顶点的位置信息和颜色信息。
[0020]预测信息确定模块，用于通过所述纹理重构模型的解码模块根据所述三平面特征信息进行顶点重建，确定至少一个重建后的顶点以及所述至少一个重建后的顶点分别对应的预测信息，所述预测信息包括所述重建后的顶点的位置预测信息和颜色预测信息。
[0021]模型重建模块，用于根据所述至少一个重建后的顶点分别对应的预测信息，生成重建后的三维模型。
[0022]根据本申请实施例的一个方面，提供了一种纹理重构模型的训练装置，所述装置包括以下模块。
[0023]采样模块，用于从样本三维模型对应的点云中采样至少一个顶点，得到顶点集合，所述顶点集合中的顶点对应有顶点信息，所述顶点信息包括所述顶点的位置信息和颜色信息，所述样本三维模型中的各个顶点分别对应有顶点标注信息。
[0024]特征确定模块，用于通过所述纹理重构模型的编码模块将所述顶点集合中的各个顶点，分别映射到三个互相垂直的平面中，确定所述顶点集合对应的三平面特征信息，所述三平面特征信息用于深层表征所述顶点集合中的各个顶点的位置信息和颜色信息。
[0025]预测信息确定模块，用于通过所述纹理重构模型的解码模块根据所述三平面特征信息进行顶点重建，确定至少一个重建后的顶点以及所述至少一个重建后的顶点分别对应的预测信息，所述预测信息包括所述重建后的顶点的位置预测信息以及颜色预测信息。
[0026]损失确定模块，用于根据所述至少一个重建后的顶点分别对应的预测信息以及所述样本三维模型中的各个顶点分别对应的顶点标注信息，确定重建损失；
[0027]参数调整模块，用于以最小化所述重建损失为目的，对所述纹理重构模型的参数进行调整，得到完成训练的纹理重构模型。
[0028]根据本申请实施例的一个方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现上述方法。
[0029]根据本申请实施例的一个方面，提供了一种计算机可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现上述方法。
[0030]根据本申请实施例的一个方面，提供了一种计算机程序产品，该计算机程序产品
包括计算机程序，该计算机程序存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机程序，处理器执行该计算机程序，使得该计算机设备执行上述方法。
[0031]本申请实施例提供的技术方案可以包括如下有益效果。
[0032]通过从待重构的三维模型对应的点云中采样得到至少一个顶点，并基于顶点携带的顶点信息，通过编码模块，确定三平面特征信息。进一步地，根据编码模块对三平面特征信息进行渲染增强，并确定重建后的顶点以及重建后顶点对应的预测信息，从而生成重建后的三维模型。本申请实施例提供的技术方案通过学习三平面特征信息并进行渲染增强，来完成三维重构表达，提升了三维模型重构的准确性。
附图说明
[0033]图1是本申请一个实施例提供的方案实施环境的示意图；
[0034]图2是本申请一个实施例提供的纹理重构模型的示意图；
[0035]图3是本申请一个实施例提供的三维模型的重建方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维模型的重建方法，其特征在于，所述方法包括：从所述三维模型对应的点云中采样至少一个顶点，得到顶点集合，所述顶点集合中的顶点对应有顶点信息，所述顶点信息包括所述顶点的位置信息和颜色信息；通过纹理重构模型的编码模块将所述顶点集合中的各个顶点，分别映射到三个互相垂直的平面中，确定所述顶点集合对应的三平面特征信息，所述三平面特征信息用于深层表征所述顶点集合中的各个顶点的位置信息和颜色信息；通过所述纹理重构模型的解码模块根据所述三平面特征信息进行顶点重建，确定至少一个重建后的顶点以及所述至少一个重建后的顶点分别对应的预测信息，所述预测信息包括所述重建后的顶点的位置预测信息和颜色预测信息；根据所述至少一个重建后的顶点分别对应的预测信息，生成重建后的三维模型。2.根据权利要求1所述的方法，其特征在于，所述解码模块包括扩散网络、插值网络以及多层感知机网络；所述通过所述纹理重构模型的解码模块根据所述三平面特征信息进行顶点重建，确定至少一个重建后的顶点以及所述至少一个重建后的顶点分别对应的预测信息，包括：通过所述扩散网络对所述三平面特征信息进行渲染增强，得到增强后的三平面特征信息；通过所述插值网络对所述增强后的三平面特征信息进行线性插值，得到插值后的三平面特征信息，所述插值后的三平面特征信息用于表征所述至少一个重建后的顶点的位置信息和颜色信息；通过所述多层感知机网络根据所述插值后的三平面特征信息，确定所述至少一个重建后的顶点以及所述至少一个重建后的顶点分别对应的预测信息。3.根据权利要求2所述的方法，其特征在于，所述通过所述扩散网络对所述三平面特征信息进行渲染增强，得到增强后的三平面特征信息，包括：将所述三维模型对应的纹理数据集输入到所述扩散网络，获取所述三维模型对应的迭代参数，所述三维模型对应的纹理数据集是用于表征所述三维模型中各个顶点对应的顶点信息的集合，所述迭代参数是所述三维模型对应的纹理集在所述扩散网络中经过至少一次迭代而产生的参数；从满足正态分布的噪声特征信息中随机采样得到初始特征信息，并根据所述迭代参数将所述初始特征信息在所述扩散网络中逆向迭代多次，得到隐藏特征信息；对所述隐藏特征信息和所述三平面特征信息进行卷积处理，得到所述增强后的三平面特征信息。4.根据权利要求2所述的方法，其特征在于，所述多层感知机网络包括位置感知机网络和颜色感知机网络，所述插值后的三平面特征信息包括所述至少一个重建后的顶点分别对应的三平面特征；所述通过所述多层感知机网络根据所述插值后的三平面特征信息，确定所述至少一个重建后的顶点以及所述至少一个重建后的顶点分别对应的预测信息，包括：通过所述位置感知机网络根据所述至少一个重建后的顶点分别对应的三平面特征，确定所述至少一个重建后的顶点分别对应的位置预测信息；通过所述颜色感知机网络根据所述至少一个重建后的顶点分别对应的三平面特征，确
定所述至少一个重建后的顶点分别对应的颜色预测信息。5.根据权利要求4所述的方法，其特征在于，所述位置预测信息包括SDF预测信息和顶点变形预测信息。6.根据权利要求4所述的方法，其特征在于，所述颜色感知机网络包括多个颜色感知器；所述通过所述颜色感知机网络根据所述至少一个重建后的顶点分别对应的三平面特征，确定所述至少一个重建后的顶点分别对应的颜色预测信息，包括：对于所述多个颜色感知器中的第j个颜色感知器，通过所述第j个颜色感知器根据第j
‑
1个颜色感知器对所述至少一个重建后的顶点分别对应的颜色预测信息的输出以及所述第j个颜色感知器的参数信息，确定所述第j个颜色感知器对所述至少一个重建后的顶点分别对应的颜色预测信息的输出，当j为1时，第1个颜色感知器的输出是所述第1个颜色感知器根据所述至少一个重建后的顶点分别对应的三平面特征以及所述第1个颜色感知器的参数信息确定出来的，j为正整数；将所述多个颜色感知器中最后一个颜色感知器的输出，确定为所述至少一个重建后的顶点分别对应的颜色预测信息。7.根据权利要求1所述的方法，其特征在于，所述编码模块中包括至少一个编码器；所述通过纹理重构模型的编码模块将所述顶点集合中的各个顶点，分别映射到三个互相垂直的平面中，确定所述顶点集合对应的三平面特征信息，包括：将所述顶点集合中的各个顶点，分别映射到所述三个互相垂直的平面中，得到与所述三个互相垂直的平面分别对应的平面特征信息；将与所述三个互相垂直的平面分别对应的平面特征信息进行整合，得到所述顶点集合对应的原始三平面特征信息，所述原始三平面特征信息中包括所述顶点集合中每一个顶点分别对应的顶点信息；通过所述至少一个编码器对所述原始三平面特征信息进行编码，得到所述顶点集合对应的三平面特征信息，所述顶点集合对应的三平面特征信息中包括所述顶点集合中每个顶点的三平面特征。8.根据权利要求7所述的方法，其特征在于，所述通过所述至少一个编码器对所述原始三平面特征信息进行编码，得到所述顶点集合对应的三平面特征信息，包括：对于所述顶点集合中的任意一个顶点，根据所述顶点对应的顶点信息、所述顶点集合中除所述顶点以外的其他顶点与所述顶点...

【专利技术属性】
技术研发人员：徐东，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：