三维模型生成方法及装置、存储介质及电子设备制造方法及图纸

本公开提供了一种三维模型生成方法及装置、存储介质及电子设备，涉及场景构建技术领域。该方法包括：获取目标对象的图像以及对应的描述信息，其中，描述信息用于描述目标对象的形状信息和/或外观信息；对目标对象的图像以及对应的描述信息进行特征提取，得到目标对象的形状特征编码和外观特征编码；基于形状特征编码、外观特征编码和目标对象的重建视角，利用神经辐射场方法进行三维隐式重建，生成目标对象的三维模型。本公开生成的目标对象的三维模型能够符合用户的需求，而非随机生成的内容，灵活性大大提高，应用性也大大提高。应用性也大大提高。应用性也大大提高。

【技术实现步骤摘要】
三维模型生成方法及装置、存储介质及电子设备


[0001]本公开涉及场景构建
，尤其涉及一种三维模型生成方法及装置、存储介质及电子设备。

技术介绍

[0002]三维重建和新视角图像渲染一直是计算机图形学领域的核心，也是数十年研究的重点。而随着数字孪生，全息通讯和元宇宙等新概念的提出，工业界也对三维重建和新视角图像渲染的需求逐渐增加。
[0003]神经辐射场是三维隐式重建领域的重要方法，使得三维隐式重建能够生成虚拟的三维场景。但目前生成的虚拟三维场景内容是随机的，不可控的，无法满足用户的定制需求，灵活性不高，大大降低应用性。
[0004]需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

[0005]本公开提供一种三维模型生成方法及装置、存储介质及电子设备，至少在一定程度上克服相关技术中生成结果随机、灵活性不高、应用性不强的问题。
[0006]本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
[0007]根据本公开的一个方面，提供了一种三维模型生成方法，包括：获取目标对象的图像以及对应的描述信息，其中，所述描述信息用于描述所述目标对象的形状信息和/或外观信息；
[0008]对目标对象的图像以及对应的描述信息进行特征提取，得到所述目标对象的形状特征编码和外观特征编码；
[0009]基于所述形状特征编码、所述外观特征编码和目标对象的重建视角，利用神经辐射场方法进行三维隐式重建，生成目标对象的三维模型。
[0010]在一些实施例中，对目标对象的图像以及对应的描述信息进行特征提取，得到所述目标对象的形状特征编码和外观特征编码，包括：
[0011]将目标对象的图像以及对应的描述信息输入图文特征提取模块中，得到所述目标对象的形状特征编码和外观特征编码；
[0012]其中，所述图文特征提取模块用于对输入目标对象的图像以及对应的描述信息集映射到同一表征空间进行特征融合的特征提取，得到目标对象的形状特征编码和外观特征编码。
[0013]在一些实施例中，所述描述信息为图像信息或文本信息。
[0014]相应地，获取目标对象对应的描述信息，包括：
[0015]接收用于描述所述目标对象的形状信息和/或外观信息的语音数据；
[0016]对所述语音数据进行文字转换，得到所述文本信息。
[0017]在一些实施例中，基于所述形状特征编码、所述外观特征编码和目标对象的重建视角，利用神经辐射场方法进行三维隐式重建，生成目标对象的三维模型，包括：将所述形状特征编码、所述外观特征编码和目标对象的重建视角，输入预先训练好的三维生成模型，得到目标对象的三维模型。
[0018]其中，所述三维生成模型的预先训练过程，包括：
[0019]获取训练样本数据，所述训练样本数据中包括：多个训练样本数据子集；其中，每个训练样本数据子集包括：训练对象的重建视角、训练对象的形状特征编码和外观特征编码，以及训练对象的三维模型；
[0020]以训练对象的重建视角、训练对象的形状特征编码和外观特征编码为输入，以训练对象的模拟三维模型为输出，构建用于模拟在训练对象的重建视角下训练对象的三维模型的三维隐式重建网络；
[0021]利用训练对象的三维模型，对所述三维隐式重建网络进行训练，得到训练好的三维生成模型。
[0022]其中，所述三维隐式重建网络，用于：
[0023]基于训练对象的重建视角，生成三维虚拟射线，得到模拟时的三维空间位置信息；
[0024]根据所述三维空间位置信息和训练对象的形状特征编码，得到训练对象的三维模型的形状预测信息；
[0025]根据所述三维空间位置信息和训练对象的外观特征编码，得到训练对象的三维模型的外观预测信息；
[0026]基于所述三维空间位置信息、所述形状预测信息和所述外观预测信息，进行体渲染，得到训练对象的模拟三维模型。
[0027]具体实施时，利用训练对象的三维模型，对所述三维隐式重建网络进行训练，得到训练好的三维生成模型，包括：
[0028]比对训练对象的模拟三维模型和训练对象的三维模型，得到比对结果；
[0029]基于所述比对结果，进行反向传播对所述三维隐式重建网络进行训练，得到训练好的三维生成模型。
[0030]在本公开的具体实施例中，提供的三维模型生成方法，还包括：
[0031]基于目标对象的三维模型和目标对象的图像以及对应的描述信息，对目标对象的形状特征编码和外观特征编码进行比对学习式调整，得到调整后的目标对象的形状特征编码和外观特征编码；
[0032]基于调整后的目标对象的形状特征编码和外观特征编码，重新生成目标对象的三维模型。
[0033]根据本公开的另一个方面，还提供了一种三维模型生成装置，包括：信息获取模块，用于获取目标对象的图像以及对应的描述信息，其中，所述描述信息用于描述所述目标对象的形状信息和/或外观信息；
[0034]特征提取模块，用于对目标对象的图像以及对应的描述信息进行特征提取，得到所述目标对象的形状特征编码和外观特征编码；和
[0035]三维模型生成模块，用于基于所述形状特征编码、所述外观特征编码和目标对象
的重建视角，利用神经辐射场方法进行三维隐式重建，生成目标对象的三维模型。
[0036]根据本公开的另一个方面，还提供了一种电子设备，该电子设备包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的三维模型生成方法。
[0037]根据本公开的另一个方面，还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的三维模型生成方法。
[0038]根据本公开的另一个方面，还提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述任意一项的三维模型生成方法。
[0039]本公开的实施例中提供的三维模型生成方法，通过基于目标对象的图像和描述信息进行特征提取，得到用户希望生成的目标对象三维模型的形状特征编码和外观特征编码，将其引入三维隐式重建过程中，使得生成的目标对象的三维模型能够符合用户的需求，而非随机生成的内容，灵活性大大提高，应用性也大大提高。
[0040]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
[0041]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0042]图1示出本公开实施例中一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维模型生成方法，其特征在于，包括：获取目标对象的图像以及对应的描述信息，其中，所述描述信息用于描述所述目标对象的形状信息和/或外观信息；对目标对象的图像以及对应的描述信息进行特征提取，得到所述目标对象的形状特征编码和外观特征编码；基于所述形状特征编码、所述外观特征编码和目标对象的重建视角，利用神经辐射场方法进行三维隐式重建，生成目标对象的三维模型。2.根据权利要求1所述的三维模型生成方法，其特征在于，对目标对象的图像以及对应的描述信息进行特征提取，得到所述目标对象的形状特征编码和外观特征编码，包括：将目标对象的图像以及对应的描述信息输入图文特征提取模块中，得到所述目标对象的形状特征编码和外观特征编码；其中，所述图文特征提取模块用于将输入的目标对象的图像以及对应的描述信息映射到同一表征空间进行特征融合的特征提取，得到目标对象的形状特征编码和外观特征编码。3.根据权利要求1或2所述的三维模型生成方法，其特征在于，所述描述信息为图像信息或文本信息。4.根据权利要求3所述的三维模型生成方法，其特征在于，获取目标对象对应的描述信息，包括：接收用于描述所述目标对象的形状信息和/或外观信息的语音数据；对所述语音数据进行文字转换，得到所述文本信息。5.根据权利要求1所述的三维模型生成方法，其特征在于，基于所述形状特征编码、所述外观特征编码和目标对象的重建视角，利用神经辐射场方法进行三维隐式重建，生成目标对象的三维模型，包括：将所述形状特征编码、所述外观特征编码和目标对象的重建视角，输入预先训练好的三维生成模型，得到目标对象的三维模型。6.根据权利要求5所述的三维模型生成方法，其特征在于，所述三维生成模型的预先训练过程，包括：获取训练样本数据，所述训练样本数据中包括：多个训练样本数据子集；其中，每个训练样本数据子集包括：训练对象的重建视角、训练对象的形状特征编码和外观特征编码，以及训练对象的三维模型；以训练对象的重建视角、训练对象的形状特征编码和外观特征编码为输入，以训练对象的模拟三维模型为输出，构建用于模拟在训练对象的重建视角下训练对象的三维模型的三维隐式重建网络；利用训练对象的三维模型，对所述三维隐式重建网络进行训...

【专利技术属性】
技术研发人员：张琦，刘巧俏，邹航，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：