【技术实现步骤摘要】
本说明书涉及三维重建领域，尤其涉及一种姿态分布指导的三维虚拟人模型重建方法。
技术介绍
1、近年来，计算机视觉技术在三维虚拟人重建领域取得了重大进展。作为三维数字化世界中的重要代表，三维虚拟人对于增强人机交互、提高虚拟世界逼真度和丰富数字内容呈现方式具有不可替代的作用。三维虚拟人重建在虚拟现实、增强现实、医疗、康复、动画制作等领域均具有重要的应用价值。
2、在传统的三维虚拟热重建方法通常基于影像数据进行表面重建或分割，然后通过建模和变形等技术获得三维人体模型。这些方法的主要问题在于，它们无法有效地处理时序信息，无法捕捉到人体在运动中的动态变化，从而导致重建的人体网格不够精确和稳定。
3、因此，如何提高重建出的人体三维模型的准确度，则是一个亟待解决的问题。
技术实现思路
1、本说明书提供一种姿态分布指导的三维虚拟模型重建方法，以部分的解决现有技术存在的上述问题。
2、本说明书采用下述技术方案：
3、本说明书提供了一种姿态分布指导的三维虚拟模型重建方法，包括：
4、获取视频数据；
5、将视频数据输入到重建模型中，提取得到所述视频数据对应的视频图像特征、语义特征以及视频序列特征；
6、将所述视频图像特征和语义特征输入到所述重建模型中的u形神经网络中，得到中间层输出结果，以及将所述语义特征、所述视频序列特征和所述u形神经网络的中间层输出结果输入到所述重建模型中的稳定扩散网络中，得到人体姿态特征，以及确定出所
7、根据所述姿态分布对所述人体姿态特征进行强化，得到强化后的人体姿态特征；
8、根据所述强化后的人体姿态特征，对所述视频数据对应的动态的人体三维模型进行重建。
9、可选地，将视频数据输入到重建模型中，提取得到所述视频数据对应的视频图像特征，具体包括：
10、将视频数据中的视频逐帧解码为图像，并等间隔的从所述视频数据中采样出若干帧图像，得到包含所述若干帧图像的视频帧序列；
11、将所述视频帧序列进行处理，得到处理后的视频帧序列，所述处理包括对视频帧序列中的视频帧进行裁剪、缩放中的至少一种；
12、将所述处理后的视频帧序列输入到多分辨率卷积神经网络，提取得到所述视频数据对应的视频图像特征；
13、将视频数据输入到重建模型中，提取得到所述视频数据对应的语义特征，具体包括：
14、将所述视频数据输入到所述重建模型中的语义提取网络中，提取得到所述视频数据对应的语义特征；
15、将视频数据输入到重建模型中，提取得到所述视频数据对应的视频序列特征，具体包括：
16、将所述视频数据输入到所述重建模型中的视频序列编码器中，提取得到所述视频数据对应的视频序列特征。
17、可选地，所述u形神经网络包括若干串联的子模块，针对每个子模块，该子模块包括空间卷积模块、空间注意力模块和交叉注意力模块；
18、将所述视频图像特征和语义特征输入到所述重建模型中的u形神经网络中，得到中间层输出结果，具体包括：
19、将所述视频图像特征和语义特征输入到所述重建模型中u形神经网络，针对所述u形神经网络中每个串联的子模块，该子模块的空间卷积模块输出的空间卷积结果将输入到该子模块的空间注意力模块中，得到针对所述空间卷积结果进行注意力加权的加权卷积结果，将所述加权卷积结果与所述语义特征输入到该子模块的交叉注意力模块，得到该子模块的输出结果；
20、将该子模块的输出结果输入到下一子模块中，直到得到最后一个子模块的输出结果。
21、可选地，所述稳定扩散网络包括若干串联的子模块，针对每个子模块，该子模块中包括：空间卷积模块、空间注意力模块、交叉注意力模块、时间卷积模块和时间注意力模块，所述稳定扩散网络中的每个子模块与所述u形神经网络的每个子模块一一对应；
22、将所述语义特征、所述视频序列特征和所述u形神经网络的中间层输出结果输入到所述重建模型中的稳定扩散网络中，得到人体姿态特征，具体包括：
23、将所述语义特征和所述视频序列特征输入到所述稳定扩散网络中，以及针对所述稳定扩散网络中的每个子模块，将所述u形神经网络与该子模块相对应的子模块中空间卷积模块输出的空间卷积结果输入到该子模块中；
24、通过该子模块中的空间卷积模块，对输入的数据进行空间卷积，以得到空间卷积结果，将所述空间卷积结果与所述u形神经网络与该子模块相对应的子模块的空间卷积结果进行拼接，得到拼接结果输入到空间注意力模块中，得到空间注意力结果；
25、将空间注意力结果中属于所述u形神经网络的部分剔除，得到剩余时空注意力结果，将所述剩余时空注意力结果与所述语义特征输入到交叉注意力模块，得到交叉注意力结果，其中，输入到第一子模块的数据为所述视频序列特征；
26、将所述交叉注意力结果输入到所述时间卷积模块，按照在时间上预设的滑动窗口，对所述交叉注意力结果进行时间卷积，并将时间卷积结果输入到时间注意力模块，得到该子模块的输出结果，将该子模块的输出结果输入到下一子模块中，直到得到最后一个子模块的输出结果，作为所述稳定扩散网络输出的人体姿态特征。
27、可选地，将所述原始分布输入到所述重建模型中的流模块中，得到姿态分布，具体包括：
28、将所述原始分布输入到重建模型中的流模块中，得到k个的微分同胚映射结果，其中，第i个微分同胚映射结果是通过第i-1个微分同胚映射结果与变换参数确定出的，第1个微分同胚映射结果是通过所述变换参数对所述原始分布进行微分通胚映射得到的；
29、根据预设的概率密度变换方法以及所述k个微分同胚映射结果，得到所述姿态分布。
30、可选地，训练所述重建模型，具体包括：
31、获取视频样本以及所述视频样本对应的标注信息；
32、将视频样本输入到重建模型中，提取得到所述视频样本对应的视频图像特征、语义特征以及视频序列特征；
33、将所述视频样本对应的视频图像特征和语义特征输入到所述重建模型中的u形神经网络中，得到中间层输出结果，以及将所述视频样本对应的语义特征、所述视频序列特征和所述u形神经网络的中间层输出结果输入到所述重建模型中的稳定扩散网络中，得到人体姿态特征，以及确定所述视频样本对应的原始分布，将所述视频样本对应的原始分布输入到所述重建模型中的流模块中，得到姿态分布；
34、根据所述姿态分布对所述人体姿态特征进行强化，得到强化后的人体姿态特征，根据所述强化后的人体姿态特征，确定所述视频样本对应的重建结果；
35、以最小化标注信息与所述重建结果之间的差异为优化目标，对所述重建模型进行训练。
36、可选地，以最小化标注信息与重建结果之间的差异为优化目标，对所述重建模型进行训练，具体本文档来自技高网...
【技术保护点】
1.一种姿态分布指导的三维虚拟人模型重建方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，将视频数据输入到重建模型中，提取得到所述视频数据对应的视频图像特征，具体包括：
3.如权利要求1所述的方法，其特征在于，所述U形神经网络包括若干串联的子模块，针对每个子模块，该子模块包括空间卷积模块、空间注意力模块和交叉注意力模块；
4.如权利要求3所述的方法，其特征在于，所述稳定扩散网络包括若干串联的子模块，针对每个子模块，该子模块中包括：空间卷积模块、空间注意力模块、交叉注意力模块、时间卷积模块和时间注意力模块，所述稳定扩散网络中的每个子模块与所述U形神经网络的每个子模块一一对应；
5.如权利要求1所述的方法，其特征在于，将所述原始分布输入到所述重建模型中的流模块中，得到姿态分布，具体包括：
6.如权利要求1所述的方法，其特征在于，训练所述重建模型，具体包括：
7.如权利要求6所述的方法，其特征在于，以最小化标注信息与重建结果之间的差异为优化目标，对所述重建模型进行训练，具体包括：
8.一
9.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1~7任一项所述的方法。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1~7任一项所述的方法。
...【技术特征摘要】
1.一种姿态分布指导的三维虚拟人模型重建方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，将视频数据输入到重建模型中，提取得到所述视频数据对应的视频图像特征，具体包括：
3.如权利要求1所述的方法，其特征在于，所述u形神经网络包括若干串联的子模块，针对每个子模块，该子模块包括空间卷积模块、空间注意力模块和交叉注意力模块；
4.如权利要求3所述的方法，其特征在于，所述稳定扩散网络包括若干串联的子模块，针对每个子模块，该子模块中包括：空间卷积模块、空间注意力模块、交叉注意力模块、时间卷积模块和时间注意力模块，所述稳定扩散网络中的每个子模块与所述u形神经网络的每个子模块一一对应；
5.如权利要求1所述的方法，其特征在于，将所...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。