【技术实现步骤摘要】
本申请涉及人工智能领域，特别涉及一种基于预训练语言模型的三维场景生成方法及相关组件。
技术介绍
1、人工智能内容生成（aigc，artificial intelligence generated content）是一项利用人工智能技术自动生产数字化内容的技术，包括文本、音频、图像以及3d（threedimensions，三维）场景，3d场景包括场景空间布局和场景中包括的3d物体。在当今的深度学习技术中，3d场景的生成受到了广泛关注。从无条件生成到有条件生成，技术不断演进，为3d场景生成带来了新的可能性。无条件生成通过学习数据分布直接生成新的3d场景，但缺乏对生成结果的精细控制，难以满足特定需求。相比之下，有条件生成结合了条件输入，通过合理的条件引入方式，可以更精确地控制生成的3d场景，具有更高的应用价值。
2、然而，现有的基于文本描述生成3d场景的方法往往将整个文本描述作为一个整体进行生成，得到与文本描述对应的3d场景，导致在生成细节方面存在明显不足，特别是在复杂的3d场景的生成中表现欠佳。
3、因此，如何提供一种基于预训练语言模型的三维场景生成方法以更好地保留细节信息是本领域技术人员亟需解决的技术问题。
技术实现思路
1、本申请的目的是提供一种基于预训练语言模型的三维场景生成方法及相关组件，采用分而治之的思想，更注重对第一文本描述信息的解析和理解，将其分解为多个细节，并通过分步骤生成场景空间布局和三维物体的三维物体数据，最后再将其融合，使最终得到的目标三维
2、为解决上述技术问题，本申请提供了一种基于预训练语言模型的三维场景生成方法，包括：
3、获取用户输入的第一文本描述信息，基于预训练语言模型对所述第一文本描述信息进行解析，得到场景空间信息和多个三维物体的第二文本描述信息，目标三维场景中包括场景空间和所述场景空间中的多个所述三维物体；
4、根据各所述第二文本描述信息生成与各所述三维物体对应的三维物体数据；
5、根据所述场景空间信息和所述第二文本描述信息生成三维场景空间布局，所述三维场景空间布局包括各个所述三维物体在所述场景空间中的空间位置；
6、将所述三维场景空间布局和所述三维物体数据融合，得到所述目标三维场景。
7、在一种实施例中，根据所述场景空间信息和所述第二文本描述信息生成三维场景空间布局，包括：
8、根据所述场景空间信息和所述第二文本描述信息生成多个不同的所述三维场景空间布局；
9、将所述三维场景空间布局和所述三维物体数据融合，得到所述目标三维场景，包括：
10、将各个所述三维场景空间布局和所述三维物体数据融合，得到多个不同的待选三维场景；
11、根据所述第一文本描述信息对多个所述待选三维场景进行评估，根据评估结果确定所述目标三维场景。
12、在一种实施例中，对多个所述待选三维场景进行评估，根据评估结果确定所述目标三维场景，包括：
13、根据所述第一文本描述信息对多个所述待选三维场景进行打分，将得分最高的所述待选三维场景确定为所述目标三维场景。
14、在一种实施例中，所述场景空间信息包括场景空间的第一三维尺寸信息，所述第二文本描述信息包括所述三维物体的第二三维尺寸信息、所述三维物体在所述目标三维场景的位置特征信息；根据所述场景空间信息和所述第二文本描述信息生成多个不同的所述三维场景空间布局，包括：
15、根据所述第一三维尺寸信息、所述第二三维尺寸信息、所述位置特征信息将所述三维物体在所述场景空间中进行不同的组合，得到多个所述三维场景空间布局。
16、在一种实施例中，将所述三维物体在所述场景空间中进行不同的组合的过程遵循预设布局原则，所述预设布局原则为：各所述三维物体紧邻所述场景空间中的地面或天花板或其它三维物体的表面，各所述三维物体与所述地面或所述天花板或所述其它三维物体在空间上不交叠。
17、在一种实施例中，根据所述第一三维尺寸信息、所述第二三维尺寸信息、所述位置特征信息将所述三维物体在所述场景空间中进行不同的组合，得到多个所述三维场景空间布局，包括：
18、根据所述第二三维尺寸信息计算各所述三维物体的体积；
19、按照体积由大到小的顺序依次将各个所述三维物体放置至所述场景空间中。
20、在一种实施例中，按照体积由大到小的顺序依次将各个所述三维物体放置至所述场景空间中，包括：
21、按照体积由大到小的顺序查找满足初始放置条件的第一三维物体，所述初始放置条件为所述三维物体紧邻所述场景空间的地面或天花板；
22、根据所述场景空间的第一三维尺寸信息和所述第一三维物体的三维尺寸信息随机确定所述第一三维物体的第一空间位置，根据所述第一空间位置将所述第一三维物体放置在所述场景空间中；
23、按照体积由大到小的顺序依次查找除所述第一三维物体之外的满足后期放置条件的第二三维物体，所述后期放置条件为所述三维物体紧邻所述地面或天花板或已放置的三维物体表面；
24、确定所述第二三维物体的第二空间位置，并根据所述第二空间位置将所述第二三维物体放置至所述场景空间中，直至完成所有三维物体的放置。
25、在一种实施例中，根据所述场景空间的第一三维尺寸信息和所述第一三维物体的三维尺寸信息随机确定所述第一三维物体的第一空间位置，根据所述第一空间位置将所述第一三维物体放置在所述场景空间中之后，还包括：
26、根据所述第一空间位置和所述第一三维物体的三维尺寸信息更新所述场景空间的空间占用信息；
27、确定所述第二三维物体的第二空间位置，并根据所述第二空间位置将所述第二三维物体放置至所述场景空间中，包括：
28、从所述场景空间中未被占用的空间中确定所述第二三维物体的第二空间位置，并根据所述第二空间位置将所述第二三维物体放置至所述场景空间中。
29、在一种实施例中，根据所述场景空间的第一三维尺寸信息和所述第一三维物体的三维尺寸信息随机确定所述第一三维物体的第一空间位置，根据所述第一空间位置将所述第一三维物体放置在所述场景空间中，包括：
30、根据所述场景空间的第一三维尺寸信息和所述第一三维物体的三维尺寸信息随机确定所述第一三维物体的第一重心位置；
31、根据所述第一重心位置、第一预设角度和所述第一三维物体的三维尺寸信息确定所述第一三维物体的第一空间位置；
32、根据所述第一空间位置将所述第一三维物体放置在所述场景空间中；
33、从所述场景空间中未被占用的空间中确定所述第二三维物体的第二空间位置，并根据所述第二空间位置将所述第二三维物体放置至所述场景空间中，包括：
34、从所述场景空间中未被占用的空间中随机确定所述第二三维物体的第二重心位置；
35、根据所述第二重心位置、第二预设角度和所述第二三维本文档来自技高网...
【技术保护点】
1.一种基于预训练语言模型的三维场景生成方法，其特征在于，包括：
2.如权利要求1所述的基于预训练语言模型的三维场景生成方法，其特征在于，根据所述场景空间信息和所述第二文本描述信息生成三维场景空间布局，包括：
3.如权利要求2所述的基于预训练语言模型的三维场景生成方法，其特征在于，对多个所述待选三维场景进行评估，根据评估结果确定所述目标三维场景，包括：
4.如权利要求2所述的基于预训练语言模型的三维场景生成方法，其特征在于，所述场景空间信息包括场景空间的第一三维尺寸信息，所述第二文本描述信息包括所述三维物体的第二三维尺寸信息、所述三维物体在所述目标三维场景的位置特征信息；根据所述场景空间信息和所述第二文本描述信息生成多个不同的所述三维场景空间布局，包括：
5.如权利要求4所述的基于预训练语言模型的三维场景生成方法，其特征在于，将所述三维物体在所述场景空间中进行不同的组合的过程遵循预设布局原则，所述预设布局原则为：各所述三维物体紧邻所述场景空间中的地面或天花板或其它三维物体的表面，各所述三维物体与所述地面或所述天花板或所述其它三维物体
6.如权利要求4所述的基于预训练语言模型的三维场景生成方法，其特征在于，根据所述第一三维尺寸信息、所述第二三维尺寸信息、所述位置特征信息将所述三维物体在所述场景空间中进行不同的组合，得到多个所述三维场景空间布局，包括：
7.如权利要求6所述的基于预训练语言模型的三维场景生成方法，其特征在于，按照体积由大到小的顺序依次将各个所述三维物体放置至所述场景空间中，包括：
8.如权利要求7所述的基于预训练语言模型的三维场景生成方法，其特征在于，根据所述场景空间的第一三维尺寸信息和所述第一三维物体的三维尺寸信息随机确定所述第一三维物体的第一空间位置，根据所述第一空间位置将所述第一三维物体放置在所述场景空间中之后，还包括：
9.如权利要求8所述的基于预训练语言模型的三维场景生成方法，其特征在于，根据所述场景空间的第一三维尺寸信息和所述第一三维物体的三维尺寸信息随机确定所述第一三维物体的第一空间位置，根据所述第一空间位置将所述第一三维物体放置在所述场景空间中，包括：
10.如权利要求8所述的基于预训练语言模型的三维场景生成方法，其特征在于，根据所述第一空间位置和所述第一三维物体的三维尺寸信息更新所述场景空间的空间占用信息之前，还包括：
11.如权利要求2-10任一项所述的基于预训练语言模型的三维场景生成方法，其特征在于，根据所述第一文本描述信息对多个所述待选三维场景进行评估，根据评估结果确定所述目标三维场景，包括：
12.如权利要求11所述的基于预训练语言模型的三维场景生成方法，其特征在于，根据各所述第二文本描述信息生成与各所述三维物体对应的三维物体数据之后，还包括：
13.如权利要求12所述的基于预训练语言模型的三维场景生成方法，其特征在于，将各个所述三维场景空间布局和所述三维物体点云数据融合，得到多个不同的待选三维场景之后，还包括：
14.如权利要求11所述的基于预训练语言模型的三维场景生成方法，其特征在于，根据所述评分网络模型输出的结果确定各个待选三维场景与所述第一文本描述信息的相似度，包括：
15.如权利要求11所述的基于预训练语言模型的三维场景生成方法，其特征在于，将所述第一文本描述信息和多个所述待选三维场景输入至评分网络模型之前，还包括：
16.如权利要求15所述的基于预训练语言模型的三维场景生成方法，其特征在于，所述初始评分网络模型包括第一网络结构和第二网络结构，所述第一网络结构包括依次连接的语言模型和若干个多层感知机，所述第二网络结构包括依次连接的若干个所述多层感知机、池化层和若干个所述多层感知机；
17.如权利要求16所述的基于预训练语言模型的三维场景生成方法，其特征在于，计算所述第一描述子向量和各个所述第二描述子向量的相似度，包括：
18.如权利要求15所述的基于预训练语言模型的三维场景生成方法，其特征在于，对所述初始评分网络模型进行优化，包括：
19.如权利要求18所述的基于预训练语言模型的三维场景生成方法，其特征在于，利用对比损失函数对所述初始评分网络模型进行优化，包括：
20.如权利要求19所述的基于预训练语言模型的三维场景生成方法，其特征在于，还包括：
21.一种基于预训练语言模型的三维场景生成系统，其特征在于，包括：
22.一种基于预训练语言模型的三维场景生成装置，其特征在于，包括：
23.一种计算机可...
【技术特征摘要】
1.一种基于预训练语言模型的三维场景生成方法，其特征在于，包括：
2.如权利要求1所述的基于预训练语言模型的三维场景生成方法，其特征在于，根据所述场景空间信息和所述第二文本描述信息生成三维场景空间布局，包括：
3.如权利要求2所述的基于预训练语言模型的三维场景生成方法，其特征在于，对多个所述待选三维场景进行评估，根据评估结果确定所述目标三维场景，包括：
4.如权利要求2所述的基于预训练语言模型的三维场景生成方法，其特征在于，所述场景空间信息包括场景空间的第一三维尺寸信息，所述第二文本描述信息包括所述三维物体的第二三维尺寸信息、所述三维物体在所述目标三维场景的位置特征信息；根据所述场景空间信息和所述第二文本描述信息生成多个不同的所述三维场景空间布局，包括：
5.如权利要求4所述的基于预训练语言模型的三维场景生成方法，其特征在于，将所述三维物体在所述场景空间中进行不同的组合的过程遵循预设布局原则，所述预设布局原则为：各所述三维物体紧邻所述场景空间中的地面或天花板或其它三维物体的表面，各所述三维物体与所述地面或所述天花板或所述其它三维物体在空间上不交叠。
6.如权利要求4所述的基于预训练语言模型的三维场景生成方法，其特征在于，根据所述第一三维尺寸信息、所述第二三维尺寸信息、所述位置特征信息将所述三维物体在所述场景空间中进行不同的组合，得到多个所述三维场景空间布局，包括：
7.如权利要求6所述的基于预训练语言模型的三维场景生成方法，其特征在于，按照体积由大到小的顺序依次将各个所述三维物体放置至所述场景空间中，包括：
8.如权利要求7所述的基于预训练语言模型的三维场景生成方法，其特征在于，根据所述场景空间的第一三维尺寸信息和所述第一三维物体的三维尺寸信息随机确定所述第一三维物体的第一空间位置，根据所述第一空间位置将所述第一三维物体放置在所述场景空间中之后，还包括：
9.如权利要求8所述的基于预训练语言模型的三维场景生成方法，其特征在于，根据所述场景空间的第一三维尺寸信息和所述第一三维物体的三维尺寸信息随机确定所述第一三维物体的第一空间位置，根据所述第一空间位置将所述第一三维物体放置在所述场景空间中，包括：
10.如权利要求8所述的基于预训练语言模型的三维场景生成方法，其特征在于，根据所述第一空间位置和所述第一三维物体的三维尺寸信息更新所述场景空间的空间...
【专利技术属性】
技术研发人员：杜国光，范宝余，赵雅倩，王丽，郭振华，李仁刚，
申请(专利权)人：浪潮电子信息产业股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。