【技术实现步骤摘要】
本说明书涉及计算机领域，尤其涉及一种三维模型构建方法、装置、存储介质及电子设备。
技术介绍
1、随着计算机视觉技术的发展，现如今已经可以实现从视频影像或者多张二维图像中，构建出人体的三维模型，该人体的三维模型还原了视频影像或多张二维图像中人体的形态、姿态等人体外观。通常可通过人工智能技术训练出的人体三维模型生成模型，得到人体三维模型。例如，将视频中的每帧二维图像输入人体三维模型生成模型，该人体三维模型生成模型提取人体二维图像中人体的三维姿态和形状信息，即人体图像特征，以生成人体三维模型。但实际上视频中的人体二维图像中的人体的某些部位可能存在被遮挡的情况，那么，该人体三维模型生成模型无法获取完整的人体三维姿态，会降低生成的人体三维模型的准确性。
2、基于此，本说明书提供一种三维模型构建方法。
技术实现思路
1、本说明书提供一种三维模型构建方法、装置、存储介质及电子设备，以部分的解决现有技术存在的上述问题。
2、本说明书采用下述技术方案：
3、本说明书提供了一种三维模型构建方法，所述方法包括：
4、获取待构建人体三维模型的若干人体二维图像；
5、将所述若干人体二维图像输入特征提取模型，得到所述特征提取模型输出的所述若干人体二维图像的第一人体外观特征向量；
6、将所述第一人体外观特征向量输入预先训练好的扩散模型，以使所述扩散模型对所述第一人体外观特征向量进行特征向量补充，得到补充后的第一人体外观特征向量，作为第二人体
7、将所述第二人体外观特征向量输入人体三维模型生成模型，得到所述人体三维模型生成模型构建的所述若干人体二维图像对应的人体三维模型。
8、可选地，将所述若干人体二维图像输入特征提取模型之前，所述方法还包括：
9、针对每个人体二维图像，对该人体二维图像进行预处理，其中，所述预处理包括图像缩放、图像增强。
10、可选地，特征提取模型包括若干个特征提取网络，每个特征提取网络的分辨率不同；
11、将所述若干人体二维图像输入特征提取模型，得到所述特征提取模型输出的所述若干人体二维图像的第一人体外观特征向量，具体包括：
12、针对每个人体二维图像，将该人体二维图像输入特征提取模型中的每个特征提取网络，得到每个特征提取网络输出的该人体二维图像的初始特征图；
13、融合所有特征提取网络输出的该人体二维图像的初始特征图，得到融合特征图；
14、通过预设转换方法，将所述融合特征图转换为人体外观特征向量，得到第一人体外观特征向量。
15、可选地，将所述第一人体外观特征向量输入预先训练好的扩散模型之前，所述方法还包括：
16、确定所述若干人体二维图像的拍摄时间；
17、根据所述拍摄时间，将所述若干人体二维图像的第一人体外观特征向量进行融合，得到融合后的第一人体外观特征向量；
18、通过时间卷积网络及时间注意力网络，对所述融合后的第一人体外观特征向量进行优化，得到优化人体外观特征向量，作为第一人体外观特征向量。
19、可选地，通过时间卷积网络及时间注意力网络，对所述融合后的第一人体外观特征向量进行优化，具体包括：
20、将所述融合后的第一人体外观特征向量输入三维残差神经网络编码器，以使所述三维残差神经网络编码器对所述融合后的第一人体外观特征向量进行编码，得到人体外观编码向量；
21、将所述人体外观编码向量输入时间卷积网络，以使所述时间卷积网络对所述人体外观编码向量进行卷积，得到人体外观时间特征向量；
22、根据所述人体外观时间特征向量及所述时间注意力网络，对所述融合后的第一人体外观特征向量进行优化。
23、可选地，根据所述人体外观时间特征向量及所述时间注意力网络，对所述融合后的第一人体外观特征向量进行优化，具体包括：
24、获取所述若干人体二维图像的人体视频影像；
25、通过双向编码器提取所述人体视频影像的时间词向量；
26、根据词向量编码器对所述时间词向量进行编码，得到编码后的时间词向量；
27、根据所述人体外观时间特征向量、所述编码后的时间词向量及所述时间注意力网络，对所述融合后的第一人体外观特征向量进行优化。
28、可选地，根据所述人体外观时间特征向量、所述编码后的时间词向量及所述时间注意力网络，对所述融合后的第一人体外观特征向量进行优化，具体包括：
29、通过时间注意力网络，对所述人体外观时间特征向量进行解码，得到解码后的所述人体外观时间特征向量，并作为权重向量；
30、将所述编码后的时间词向量及所述权重向量输入交叉注意力网络，得到所述交叉注意力网络输出的时间提示向量，作为优化特征向量。
31、可选地，训练所述扩散模型，具体包括：
32、获取样本人体二维图像；
33、根据所述样本人体二维图像，确定所述样本人体二维图像的样本人体外观特征向量，作为标签；
34、将所述样本人体外观特征向量输入所述扩散模型，以使所述扩散模型对所述样本人体外观特征向量添加预设噪声，得到添加噪声后的样本人体外观特征向量，其中，所述预设噪声服从高斯分布；
35、通过所述扩散模型，对所述添加噪声后的样本人体外观特征向量进行预设次数的噪声去除，得到预测人体外观特征向量，其中，每次去除的噪声服从高斯分布；
36、根据所述标签及所述预测人体外观特征向量，对所述扩散模型进行训练。
37、本说明书提供了一种三维模型构建装置，所述装置包括：
38、图像获取模块，用于获取待构建人体三维模型的若干人体二维图像；
39、第一特征向量获取模块，用于将所述若干人体二维图像输入特征提取模型，得到所述特征提取模型输出的所述若干人体二维图像的第一人体外观特征向量；
40、第二特征向量获取模块，用于将所述第一人体外观特征向量输入预先训练好的扩散模型，以使所述扩散模型对所述第一人体外观特征向量进行特征向量补充，得到补充后的第一人体外观特征向量，作为第二人体外观特征向量；
41、人体模型构建模块，用于将所述第二人体外观特征向量输入人体三维模型生成模型，得到所述人体三维模型生成模型构建的所述若干人体二维图像对应的人体三维模型。
42、可选地，所述装置还包括：
43、预处理模块，用于针对每个人体二维图像，对该人体二维图像进行预处理，其中，所述预处理包括图像缩放、图像增强。
44、可选地，特征提取模型包括若干个特征提取网络，每个特征提取网络的分辨率不同；
45、所述第一特征向量获取模块具体用于，针对每个人体二维图像，将该人体二维图像输入特征提取模型中的每个特征提取网络，得到每个特征提取网络输出的该人体二维图像的初始特征图；融合所有特征提取网络输出的本文档来自技高网...
【技术保护点】
1.一种三维模型构建方法，其特征在于，所述方法包括：
2.如权利要求1所述的方法，其特征在于，将所述若干人体二维图像输入特征提取模型之前，所述方法还包括：
3.如权利要求1所述的方法，其特征在于，特征提取模型包括若干个特征提取网络，每个特征提取网络的分辨率不同；
4.如权利要求1所述的方法，其特征在于，将所述第一人体外观特征向量输入预先训练好的扩散模型之前，所述方法还包括：
5.如权利要求4所述的方法，其特征在于，通过时间卷积网络及时间注意力网络，对所述融合后的第一人体外观特征向量进行优化，具体包括：
6.如权利要求5所述的方法，其特征在于，根据所述人体外观时间特征向量及所述时间注意力网络，对所述融合后的第一人体外观特征向量进行优化，具体包括：
7.如权利要求6所述的方法，其特征在于，根据所述人体外观时间特征向量、所述编码后的时间词向量及所述时间注意力网络，对所述融合后的第一人体外观特征向量进行优化，具体包括：
8.如权利要求1所述的方法，其特征在于，训练所述扩散模型，具体包括：
9.
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1~8任一项所述的方法。
...【技术特征摘要】
1.一种三维模型构建方法，其特征在于，所述方法包括：
2.如权利要求1所述的方法，其特征在于，将所述若干人体二维图像输入特征提取模型之前，所述方法还包括：
3.如权利要求1所述的方法，其特征在于，特征提取模型包括若干个特征提取网络，每个特征提取网络的分辨率不同；
4.如权利要求1所述的方法，其特征在于，将所述第一人体外观特征向量输入预先训练好的扩散模型之前，所述方法还包括：
5.如权利要求4所述的方法，其特征在于，通过时间卷积网络及时间注意力网络，对所述融合后的第一人体外观特征向量进行优化，具体包括：
6.如权利要求5所述的方法，其特征在于，根据所述人体外观时间特征向量及所述时间注意力...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。