【技术实现步骤摘要】
本申请涉及三维建模，尤其涉及一种3d内容生成方法、装置、设备、存储介质。
技术介绍
1、现有的文本到3d模型生成的方法是利用3d生成方法，并在大规模3d数据集上以监督方式进行训练实现的。例如，首先训练一个编码器，将3d资产确定性地映射到隐式函数的参数中；其次在编码器的输出上训练了一个条件扩散模型。当在配对的3d和文本数据的大型数据集上进行训练后，生成的模型能够在几秒钟内生成复杂且多样化的3d资产。
2、但是，该方法受限于3d数据集的限制，生成的3d结果分辨率通常都较低，并且生成的3d结果纹理也很简单。这类方法通常只能生成简单的几个种类的3d物体，例如椅子，飞机，汽车等。
技术实现思路
1、为了解决上述技术缺陷之一，本申请提供了一种3d内容生成方法、装置、设备、存储介质。
2、本申请第一个方面，提供了一种3d内容生成方法，该方法包括：
3、获取文本提示和基本三角形网格；
4、根据文本提示对基本三角形网格进行变形，形成目标三角形网格；
5、根据目标三角形网格生成粗糙纹理；
6、基于目标三角形网格和粗糙纹理进行联合优化，生成3d内容。
7、可选地，根据文本提示对基本三角形网格进行变形，形成目标三角形网格，包括：
8、将基本三角形网格m0作为给定网络，基于给定网络和文本提示，优化生成最优的变形映射φ*；
9、确定目标三角形网格m1＝φ*(m0)。
10、可选地，根据目标三
11、渲染目标三角形网格中的各顶点的深度图；
12、生成各深度图的初始彩色图像；
13、将各初始彩色图像映射回纹理图，形成粗糙纹理。
14、可选地，基于目标三角形网格和粗糙纹理进行联合优化，生成3d内容，包括：
15、将目标三角形网格m1作为给定网络，基于给定网络和文本提示，优化生成最优的变形映射φ*；
16、确定变形的三角形网络m2＝φ*(m1)；
17、根据m2、粗糙纹理和损失函数，生成3d内容。
18、可选地，根据m2、粗糙纹理和损失函数，生成3d内容，包括：
19、通过公式xcoarse＝g(m2,x1,c)和损失函数
20、优化生成3d内容；
21、其中，c为球面坐标系内任意采样的相机姿态，g为可微分渲染器，xrefine为精化后的渲染图像，x1为粗糙纹理，xrefine＝ε(xcoarse)，ε为图像精化器。
22、可选地，给定网络由一组三角形面f＝{fi}组成，i为三角形面标识；
23、基于给定网络和文本提示，优化生成最优的变形映射φ*，包括：
24、通过公式和变形映射的损失梯度进行优化，得到最优的变形映射φ*；
25、其中，|fi|为fi的面积，为给定网络中的第i个三角形面的梯度算子，为去噪器参数，mi为给定网络中的第i个三角形面转换矩阵，n为法线图，t为优化过程中稳定扩散的步数，w(t)为稳定扩散的第t步的引导权重，y为文本提示，为稳定扩散中的去噪器，zn为n在潜在空间中的编码，为稳定扩散的第t步中zn加入噪声∈后的编码。
26、可选地，每次优化时，n＝gn(φ*(m2),c)，其中，gn为针对法线图的可微分渲染器，c为球面坐标系内任意采样的相机姿态，m2为给定网络。
27、本申请第二个方面，提供了一种3d内容生成装置，该装置包括：
28、获取模块，用于获取文本提示和基本三角形网格；
29、第一处理模块，用于根据获取模块获取的文本提示对获取模块获取的基本三角形网格进行变形，形成目标三角形网格；
30、第二处理模块，用于根据第一处理模块得到的目标三角形网格生成粗糙纹理；
31、第三处理模块，用于基于第一处理模块得到的目标三角形网格和第二处理模块得到的粗糙纹理进行联合优化，生成3d内容。
32、本申请第三个方面，提供了一种电子设备，包括：
33、存储器；
34、处理器；以及
35、计算机程序；
36、其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如上述第一个方面所述的方法。
37、本申请第四个方面，提供了一种计算机可读存储介质，其上存储有计算机程序；所述计算机程序被处理器执行以实现如上述第一个方面所述的方法。
38、本申请提供一种3d内容生成方法、装置、设备、存储介质，该方法包括：获取文本提示和基本三角形网格；根据文本提示对基本三角形网格进行变形，形成目标三角形网格；根据目标三角形网格生成粗糙纹理；基于目标三角形网格和粗糙纹理进行联合优化，生成3d内容。本申请提供的方法基于目标三角形网格和粗糙纹理进行联合优化，生成3d内容，使得3d内容的生成不再受限于数据集，提升3d内容的生成质量。
本文档来自技高网...【技术保护点】
1.一种3D内容生成方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述文本提示对所述基本三角形网格进行变形，形成目标三角形网格，包括：
3.根据权利要求1所述的方法，其特征在于，所述根据所述目标三角形网格生成粗糙纹理，包括：
4.根据权利要求1所述的方法，其特征在于，所述基于所述目标三角形网格和所述粗糙纹理进行联合优化，生成3D内容，包括：
5.根据权利要求4所述的方法，其特征在于，所述根据M2、所述粗糙纹理和损失函数，生成3D内容，包括：
6.根据权利要求2或4所述的方法，其特征在于，所述给定网络由一组三角形面F＝{fi}组成，i为三角形面标识；
7.根据权利要求6所述的方法，其特征在于，每次优化时，n＝gn(Φ*(M2)，c)，其中，gn为针对法线图的可微分渲染器，c为球面坐标系内任意采样的相机姿态，M2为所述给定网络。
8.一种3D内容生成装置，其特征在于，所述装置包括：
9.一种电子设备，其特征在于，包括：
10.一种计算机可读
...【技术特征摘要】
1.一种3d内容生成方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述文本提示对所述基本三角形网格进行变形，形成目标三角形网格，包括：
3.根据权利要求1所述的方法，其特征在于，所述根据所述目标三角形网格生成粗糙纹理，包括：
4.根据权利要求1所述的方法，其特征在于，所述基于所述目标三角形网格和所述粗糙纹理进行联合优化，生成3d内容，包括：
5.根据权利要求4所述的方法，其特征在于，所述根据m2、所述粗糙纹理和损失函数，生成3d内容，包括：
6.根据...
【专利技术属性】
技术研发人员：姚霆，陈杨，潘滢炜，梅涛，
申请(专利权)人：北京智象未来科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。