【技术实现步骤摘要】
本专利技术涉及人工智能，特别是涉及一种数据集生成方法、三维内容生成方法、装置、设备及介质。
技术介绍
1、随着人工智能技术的快速发展与日益普及，aigc （artificial intelligencegenerated content，人工智能内容生成）技术成为一种趋势，aigc采用人工智能技术自动生成模态的数字化内容，包括但并不限制于文本、音频、图像、3d（三维）内容，其能够极大提升影视、娱乐、传媒等行业内容创作者的工作效率和质量，有利于企业加速数字化和智能化进程。
2、其中，基于文本条件可以生成效果更好的3d内容，这种方式以给定文本条件作为输入，通过合理的条件引入方式控制深度神经网络生成与条件要求一致的3d内容。在3d内容生成过程中，就需要生成文本内容与3d部件对应的数据集以用于后续的深度神经网络的训练和推理的相关过程中。相关技术所生成的该数据集的规模及精度均无法满足用户的现实需求。
3、鉴于此，生成大规模高质量的文本内容与3d部件对应数据集，是所属领域技术人员需要解决的技术问题。
技术实现思路
1、本专利技术提供了一种基于预训练语言模型的三维内容及其数据集的生成方法、装置、电子设备及可读存储介质，可以生成大规模高质量的文本内容与3d部件对应数据集。
2、为解决上述技术问题，本专利技术提供以下技术方案：
3、本专利技术一方面提供了一种基于预训练语言模型的数据集生成方法，包括：
4、利用所述文本问答模型，获取三维内容数
5、获取所述三维内容数据集中至少一个三维内容对应的不同视角下的二维内容图像；
6、根据所述部件名称信息和各二维内容图像，基于像素、部件名称、每个三维点之间具有的对应关系至少一个三维内容的部件名称及相对应的三维点，确定各部件名称对应的所有三维点；
7、根据所述三维内容数据集中每个三维内容中相对应的部件名称及三维点，得到文本与三维内容部件对应数据集。
8、在第一种示例性的实施方式下，所述根据所述部件名称信息和各二维内容图像，基于像素、部件名称、每个三维点之间具有的对应关系至少一个三维内容的部件名称及相对应的三维点，确定各部件名称对应的所有三维点，包括：
9、根据所述部件名称信息和各二维内容图像，确定至少一个二维内容图像中的至少一个目标像素对应的部件名称；
10、基于所述三维内容数据集，对各目标像素对应的部件名称进行融合处理，根据融合结果确定各部件名称对应的所有三维点。
11、在第二种示例性的实施方式下，所述根据所述部件名称信息和各二维内容图像，确定至少一个二维内容图像中的至少一个目标像素对应的部件名称，包括：
12、将所述部件名称信息中的各部件名称与至少一个二维内容图像分别进行组合，得到多个图文组合结果；
13、基于每个图文组合结果中的部件名称，通过对相应图文组合结果中的二维内容图像进行图像分割处理，得到各二维内容图像中的各目标像素对应的部件名称。
14、在第三种示例性的实施方式下，所述基于每个图文组合结果中的部件名称，通过对相应图文组合结果中的二维内容图像进行图像分割处理，得到各二维内容图像中的各目标像素对应的部件名称，包括：
15、预先训练好分割一切模型；
16、依次将每个图文组合结果，输入至所述分割一切模型，得到当前二维内容图像中属于相应部件名称的所有像素点；
17、根据各二维内容图像中属于相应部件名称的所有像素点，确定各二维内容图像中的各目标像素对应的部件名称。
18、在第四种示例性的实施方式下，所述基于所述三维内容数据集，对各目标像素对应的部件名称进行融合处理，根据融合结果确定各部件名称对应的所有三维点，包括：基于所述三维内容数据集，获取各三维点属于每一类部件的概率信息；
19、根据各三维点对应的部件名称和所述概率信息，确定各部件名称对应的所有三维点。
20、在第五种示例性的实施方式下，所述根据各三维点对应的部件名称和所述概率信息，确定各部件名称对应的所有三维点之前，还包括：
21、预先构建数据融合网络；
22、获取至少一个二维内容图像中至少一个目标像素对应的部件类别；
23、基于各三维点属于每一类部件的概率信息、根据将各目标像素对应的部件名称作为预测结果、各目标像素对应的部件类别作为真值，对所述数据融合网络进行训练。
24、在第六种示例性的实施方式下，所述根据各三维点对应的部件名称和所述概率信息，确定各部件名称对应的所有三维点，包括：
25、将所述概率信息和各目标像素对应的部件名称作为输入数据，输入至训练好的数据融合网络，得到各部件名称对应的所有三维点。
26、在第七种示例性的实施方式下，所述对所述数据融合网络进行训练，包括：
27、调用融合损失函数关系式，对所述数据融合网络进行训练，所述融合损失函数关系式为：
28、；
29、式中， l( ppred， pseg)表示融合损失函数关系式， ppred为所述预测结果， pseg为所述真值， c为部件类别总数， i表示第 i个部件类别。
30、在第八种示例性的实施方式下，所述获取至少一个二维内容图像中至少一个目标像素对应的部件类别，包括：
31、依次将每个二维内容图像，输入至训练好的分割一切模型，得到每个部件类别在当前二维内容图像中预测的像素区域。
32、在第九种示例性的实施方式下，所述获取各三维点属于每一类部件的概率信息，包括：
33、预先构建部件类别识别网络；所述部件类别识别网络包括第一多层感知机、第二多层感知机和第三多层感知机；
34、根据所述三维内容数据集所包含的部件类别、每个三维内容的三维点总数目以及每个三维点所属的部件类别的最大数，确定多维数据信息；
35、将所述多维数据信息输入至所述部件类别识别网络，通过所述部件类别识别网络的各多层感知机对所述多维数据信息进行降维处理，得到各三维点属于每一类部件的概率信息。
36、在第十种示例性的实施方式下，所述根据所述三维内容数据集所包含的部件类别、每个三维内容的三维点总数目以及每个三维点所属的部件类别的最大数，确定多维数据信息，包括：
37、获取所述三维内容数据集所包含的部件类别；
38、将每一部件类别转换为多维独热编码向量。
39、在第十一种示例性的实施方式下，所述基于所述三维内容数据集，对各目标像素对应的部件名称进行融合处理，根据融合结果确定各本文档来自技高网...
【技术保护点】
1.一种基于预训练语言模型的数据集生成方法，其特征在于，包括：
2.根据权利要求1所述的基于预训练语言模型的数据集生成方法，其特征在于，所述根据所述部件名称信息和各二维内容图像，基于像素、部件名称、每个三维点之间具有的对应关系，确定各部件名称对应的所有三维点，包括：
3.根据权利要求2所述的基于预训练语言模型的数据集生成方法，其特征在于，所述根据所述部件名称信息和各二维内容图像，确定至少一个二维内容图像中的至少一个目标像素对应的部件名称，包括：
4.根据权利要求3所述的基于预训练语言模型的数据集生成方法，其特征在于，所述基于每个图文组合结果中的部件名称，通过对相应图文组合结果中的二维内容图像进行图像分割处理，得到各二维内容图像中的各目标像素对应的部件名称，包括：
5.根据权利要求2所述的基于预训练语言模型的数据集生成方法，其特征在于，所述基于所述三维内容数据集，对各目标像素对应的部件名称进行融合处理，根据融合结果确定各部件名称对应的所有三维点，包括：
6.根据权利要求5所述的基于预训练语言模型的数据集生成方法，其特征在于
7.根据权利要求6所述的基于预训练语言模型的数据集生成方法，其特征在于，所述根据各三维点对应的部件名称和所述概率信息，确定各部件名称对应的所有三维点，包括：
8.根据权利要求6所述的基于预训练语言模型的数据集生成方法，其特征在于，所述对所述数据融合网络进行训练，包括：
9.根据权利要求6所述的基于预训练语言模型的数据集生成方法，其特征在于，所述获取至少一个二维内容图像中至少一个目标像素对应的部件类别，包括：
10.根据权利要求5所述的基于预训练语言模型的数据集生成方法，其特征在于，所述获取各三维点属于每一类部件的概率信息，包括：
11.根据权利要求10所述的基于预训练语言模型的数据集生成方法，其特征在于，所述根据所述三维内容数据集所包含的部件类别、每个三维内容的三维点总数目以及每个三维点所属的部件类别的最大数，确定多维数据信息，包括：
12.根据权利要求2所述的基于预训练语言模型的数据集生成方法，其特征在于，所述基于所述三维内容数据集，对各目标像素对应的部件名称进行融合处理，根据融合结果确定各部件名称对应的所有三维点，包括：
13.根据权利要求1所述的基于预训练语言模型的数据集生成方法，其特征在于，所述利用所述文本问答模型，获取三维内容数据集所包含的文本形式描述的部件名称信息，包括：
14.根据权利要求13所述的基于预训练语言模型的数据集生成方法，其特征在于，所述基于各三维内容的名称，利用所述文本问答模型得到文本形式描述的部件名称信息，包括：
15.根据权利要求1至14任意一项所述的基于预训练语言模型的数据集生成方法，其特征在于，所述获取所述三维内容数据集中至少一个三维内容对应的不同视角下的二维内容图像，包括：
16.根据权利要求15所述的基于预训练语言模型的数据集生成方法，其特征在于，所述根据所述虚拟相机的每个位姿信息，分别对各三维内容进行渲染处理之前，还包括：
17.根据权利要求15所述的基于预训练语言模型的数据集生成方法，其特征在于，所述根据虚拟相机的位置和朝向计算虚拟相机的位姿信息，包括：
18.一种基于预训练语言模型的三维内容生成方法，其特征在于，包括：
19.一种基于预训练语言模型的数据集生成装置，其特征在于，包括：
20.一种基于预训练语言模型的三维内容生成装置，其特征在于，包括：
21.一种电子设备，其特征在于，包括处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序时实现如权利要求1至17任一项所述基于预训练语言模型的数据集生成方法和/或如权利要求18所述的基于预训练语言模型的三维内容生成方法的步骤。
22.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至17任一项所述基于预训练语言模型的数据集生成方法和/或如权利要求18所述的基于预训练语言模型的三维内容生成方法的步骤。
...【技术特征摘要】
1.一种基于预训练语言模型的数据集生成方法，其特征在于，包括：
2.根据权利要求1所述的基于预训练语言模型的数据集生成方法，其特征在于，所述根据所述部件名称信息和各二维内容图像，基于像素、部件名称、每个三维点之间具有的对应关系，确定各部件名称对应的所有三维点，包括：
3.根据权利要求2所述的基于预训练语言模型的数据集生成方法，其特征在于，所述根据所述部件名称信息和各二维内容图像，确定至少一个二维内容图像中的至少一个目标像素对应的部件名称，包括：
4.根据权利要求3所述的基于预训练语言模型的数据集生成方法，其特征在于，所述基于每个图文组合结果中的部件名称，通过对相应图文组合结果中的二维内容图像进行图像分割处理，得到各二维内容图像中的各目标像素对应的部件名称，包括：
5.根据权利要求2所述的基于预训练语言模型的数据集生成方法，其特征在于，所述基于所述三维内容数据集，对各目标像素对应的部件名称进行融合处理，根据融合结果确定各部件名称对应的所有三维点，包括：
6.根据权利要求5所述的基于预训练语言模型的数据集生成方法，其特征在于，所述根据各三维点对应的部件名称和所述概率信息，确定各部件名称对应的所有三维点之前，还包括：
7.根据权利要求6所述的基于预训练语言模型的数据集生成方法，其特征在于，所述根据各三维点对应的部件名称和所述概率信息，确定各部件名称对应的所有三维点，包括：
8.根据权利要求6所述的基于预训练语言模型的数据集生成方法，其特征在于，所述对所述数据融合网络进行训练，包括：
9.根据权利要求6所述的基于预训练语言模型的数据集生成方法，其特征在于，所述获取至少一个二维内容图像中至少一个目标像素对应的部件类别，包括：
10.根据权利要求5所述的基于预训练语言模型的数据集生成方法，其特征在于，所述获取各三维点属于每一类部件的概率信息，包括：
11.根据权利要求10所述的基于预训练语言模型的数据集生成方法，其特征在于，所述根据所述三维内容数据集所包含的部件类别、每个三维内容的三维点总数目以及每个三维...
【专利技术属性】
技术研发人员：范宝余，杜国光，赵雅倩，王丽，郭振华，李仁刚，
申请(专利权)人：浪潮电子信息产业股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。