【技术实现步骤摘要】
本说明书涉及计算机，尤其涉及一种多模态层次自适应的数字网格重建方法及装置。
技术介绍
1、近年来，数字人的三维数字网格重建技术得到了极大的发展，并且广泛应用于动画、游戏设计、电影制作、医学可视化、虚拟现实和增强现实等领域上。
2、传统的三维数字网格重建方案中，一般采用单模态数据进行三维网格的重建，如目标对象的多视角图像、或者点云、或者骨骼数据等。
3、但是，单模态数据包含的信息较少，无法提供更为准确的人体表面的结构。并且，单模态数据还可能受到噪声、遮挡等因素的影响，导致重建结果不准确或不完整。
4、基于此，本说明书提供了一种多模态层次自适应的数字网格重建方法。
技术实现思路
1、本说明书提供一种多模态层次自适应的数字网格重建方法及装置，以部分的解决现有技术存在的上述问题。
2、本说明书采用下述技术方案：
3、本说明书提供了一种多模态层次自适应的数字网格重建方法，包括：
4、获取待重建对象的目标模态的数据，以及用于描述所述待重建对象的目标模态的数据的目标文本；所述目标模态的数据包括所述待重建对象的图像、点云、骨骼数据中的至少一种；
5、将所述目标模态的数据以及所述目标文本作为输入，输入到预先训练的特征增强模块，通过所述特征增强模块对齐所述目标模态的数据对应的特征和所述目标文本对应的特征，得到第一特征和第二特征；
6、根据所述第一特征和所述第二特征，通过第一编码器和第二编码器得到第一目标特征
7、根据所述第一目标特征得到第一正态分布，根据所述第二目标特征得到第二正态分布，并通过预先训练的专家积模型将所述第一正态分布和所述第二正态分布融合，得到第三正态分布；
8、根据所述第一正态分布、所述第三正态分布和第一解码器得到所述待重建对象的第一数字网格属性，并根据所述第二正态分布、所述第三正态分布和第二解码器得到所述待重建对象的第二数字网格属性；
9、根据所述第一数字网格属性和所述第二数字网格属性，重建得到所述待重建对象的三维数字网格。
10、本说明书提供了一种多模态层次自适应的数字网格重建装置，包括：
11、数据获取模块，用于获取待重建对象的目标模态的数据，以及用于描述所述待重建对象的目标模态的数据的目标文本；所述目标模态的数据包括所述待重建对象的图像、点云、骨骼数据中的至少一种；
12、特征增强模块，用于将所述目标模态的数据以及所述目标文本作为输入，输入到预先训练的特征增强模块，通过所述特征增强模块对齐所述目标模态的数据对应的特征和所述目标文本对应的特征，得到第一特征和第二特征；
13、目标特征确定模块，用于根据所述第一特征和所述第二特征，通过第一编码器和第二编码器得到第一目标特征和第二目标特征；其中，所述第一目标特征侧重描述所述目标模态的数据，所述第二目标特征侧重描述所述目标文本；
14、正态分布融合模块，用于根据所述第一目标特征得到第一正态分布，根据所述第二目标特征得到第二正态分布，并通过预先训练的专家积模型将所述第一正态分布和所述第二正态分布融合，得到第三正态分布；
15、数字网格属性确定模块，用于根据所述第一正态分布、所述第三正态分布和第一解码器得到所述待重建对象的第一数字网格属性，并根据所述第二正态分布、所述第三正态分布和第二解码器得到所述待重建对象的第二数字网格属性；
16、数字网格重建模块，用于根据所述第一数字网格属性和所述第二数字网格属性，重建得到所述待重建对象的三维数字网格。
17、本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述多模态层次自适应的数字网格重建方法。
18、本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述多模态层次自适应的数字网格重建方法。
19、本说明书采用的上述至少一个技术方案能够达到以下有益效果：
20、本说明书提供的多模态层次自适应的数字网格重建方法中，将待重建对象的目标模态的数据和目标文本输入特征增强模块，得到第一特征和第二特征，通过第一编码器和第二编码器以此得到第一目标特征和第二目标特征，进而，通过专家积模型将第一目标特征对应的第一正态分布和第二目标特征对应的第二正态分布融合，得到第三正态分布，根据第一正态分布、第二正态分布和第三正态分布，通过第一解码器和第二解码器得到第一数字网格属性和第二数字网格属性，进而以此重建得到待重建对象的三维数字网格。可见，通过上述方案，能够更好地利用不同模态的信息，增强整体的信息表征能力，从而提高三维网格重建任务的性能。
本文档来自技高网...【技术保护点】
1.一种多模态层次自适应的数字网格重建方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，通过所述特征增强模块对齐所述目标模态的数据对应的特征和所述目标文本对应的特征，得到第一特征和第二特征，具体包括：
3.如权利要求2所述的方法，其特征在于，确定所述目标文本的文本特征，具体包括：
4.如权利要求1所述的方法，其特征在于，预先训练特征增强模块，具体包括：
5.如权利要求4所述的方法，其特征在于，以所述第一特征相似度的最大化、各第二特征相似度的最小化为训练目标，训练所述特征增强模块，具体包括：
6.如权利要求1所述的方法，其特征在于，通过预先训练的专家积模型将所述第一正态分布和所述第二正态分布融合，得到第三正态分布，具体包括：
7.如权利要求6所述的方法，其特征在于，预先训练专家积模型，具体包括：
8.一种多模态层次自适应的数字网格重建装置，其特征在于，包括：
9.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1~7任一项所述的方法。
...【技术特征摘要】
1.一种多模态层次自适应的数字网格重建方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，通过所述特征增强模块对齐所述目标模态的数据对应的特征和所述目标文本对应的特征，得到第一特征和第二特征，具体包括：
3.如权利要求2所述的方法，其特征在于，确定所述目标文本的文本特征，具体包括：
4.如权利要求1所述的方法，其特征在于，预先训练特征增强模块，具体包括：
5.如权利要求4所述的方法，其特征在于，以所述第一特征相似度的最大化、各第二特征相似度的最小化为训练目标，训练所述特征增强模块，具体包括：
6.如权利要求1所述的方法...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。