本发明专利技术涉及人工智能技术领域，揭露一种基于人体运动视频的模型构建方法，包括获取待检测人体的骨骼运动视频，并将待检测人体的骨骼运动视频按照时间序列分解为骨骼运动图片序列；通过预训练获得的ResNet网络的骨干网络和分支网络，根据骨骼运动图片序列，分别确定待检测人体的骨骼特征向量和待检测人体的三维外观特征向量；进而获取待检测人体的三维骨骼特征向量；将待检测人体的三维骨骼特征向量输入预训练获得的人体三维生成模型中，获取待检测人体的人体三维模型。本发明专利技术能够有效提高人体三维模型中关节点的位置精确度，提高人体三维模型预测效率，进而达到获得更加平滑的三维人体模型的技术效果。人体模型的技术效果。人体模型的技术效果。
【技术实现步骤摘要】
基于人体运动视频的模型构建方法、装置及存储介质
[0001]本专利技术涉及人工智能
，尤其涉及一种基于人体运动视频的模型构建方法、装置及计算机可读存储介质。
技术介绍
[0002]在计算机视觉领域中，人体三维重建的研究非常热门。人体三维重建可以提供人体的几何信息和运动信息，广泛应用于人机交互、元宇宙、人体行为识别以及增强现实等领域。而现有的人体三维运动重建是通过传感器所捕捉的数据中估计人体的位资，然后根据位资进行人体三维运动重建；并通过将深度学习的方法与人体三维运动重建相结合，提升了人体三维运动重建的性能。
[0003]但是，仍然存在弊端如下：现有的人体三维运动重建的网络结构的人体特征表示方法不合理，导致重建的人体模型存在运动不连续产生人体模型抖动现象。
[0004]因此，亟需一种生成平滑度更高的三维人体模型的方法。
技术实现思路
[0005]本专利技术提供一种基于人体运动视频的模型构建方法、系统、电子设备及存储介质，其主要目的在于解决现有技术中存在的至少一个问题。
[0006]为实现上述目的，本专利技术提供的一种基于人体运动视频的模型构建方法，应用于电子装置，包括：获取待检测人体的骨骼运动视频，并将所述待检测人体的骨骼运动视频按照时间序列分解为骨骼运动图片序列；
[0007]通过预训练获得的ResNet网络的骨干网络和分支网络，根据所述骨骼运动图片序列，分别确定待检测人体的骨骼特征向量和待检测人体的三维外观特征向量；将所述待检测人体的骨骼特征向量与三维外观特征向量进行拼接，获取待检测人体的三维骨骼特征向量；
[0008]将所述待检测人体的三维骨骼特征向量输入预训练获得的人体三维生成模型中，获取待检测人体的人体三维模型。
[0009]进一步，优选的，所述待检测人体的骨骼特征向量的获取方法，包括，
[0010]通过ResNet网络模型的骨干网络，根据所述骨骼运动图片序列，确定骨骼运动特征和关键点热力图；
[0011]根据所述关键点热力图，获取骨骼关节点的关键点坐标；
[0012]根据所述骨骼关节点的关键点坐标，确定待检测人体的骨骼特征向量。
[0013]进一步，优选的，所述人体三维生成模型的训练方法包括：
[0014]将各预测时序的人体的三维骨骼特征向量输入时序卷积网络，得到各预测时序的预测人体三维骨骼特征，基于预测时序的预测人体三维骨骼特征与所述预测时序对应的实际人体三维骨骼特征，训练时序卷积网络，直至预测人体三维骨骼特征与实际人体三维骨骼特征的损失函数满足预设标准，获取训练好的时序卷积网络；
[0015]将时序卷积网络输出的各预测时序的骨骼预测特征输入分类器，得到各预测时序的人体三维模型，基于各预测时序的人体三维模型以及所述预测时序对应的实际人体三维模型，训练分类器；直至预测时序的人体三维模型以及所述预测时序对应的实际人体三维模型的损失函数满足预设标准，获取训练好的分类器，进而获取训练好的人体三维生成模型。
[0016]进一步，优选的，所述预测时序对应的实际人体三维模型的损失函数Lg，通过以下公式获取：
[0017]Lg＝L
3D
+L
2D
+L
SMPL
+L
adv
+L
motion
+L
skeNet
[0018]其中，L
3D
是3D关节点的损失函数；L
2D
是2D关节点的损失函数；L
SMPL
是SMPL形状和位姿的损失函数；L
adv
是对抗损失函数；L
skeNet
是骨骼网络输出的骨骼向量的损失函数；L
motion
是骨骼运动损失函数。
[0019]进一步，优选的，所述骨骼运动损失函数的公式如下：
[0020][0021]其中，M为关节点的数量，T为待检测人体的骨骼运动视频的序列长度，gt为真实值；j为第j个关节，t为第t个时刻，τ为相邻帧的时间间隔；s(θ)为θ的余弦相似度；θ为人体运动引起的同一人体位置在不同时刻向量的夹角。
[0022]进一步，优选的，所述对抗损失函数的构建方法为：
[0023]利用AMASS数据集的人体骨骼特征数据作为输入数据生成对抗网络；其中，所述人体骨骼特征数据所对应的参考类别通过所述AMASS数据集确定；
[0024]通过所述对抗网络对所输入的数据进行分类处理，获取所述输入数据对应的骨骼特征的预测类别；
[0025]依据所述骨骼特征的预测类别和所述输入数据对应的参考类别，构建损失函数。
[0026]进一步，优选的，通过ResNet网络模型的骨干网络，根据所述骨骼运动图片序列，确定骨骼运动特征和关键点热力图的方法，包括，
[0027]将所述骨骼运动图片序列输入ResNet网络模型，通过所述ResNet网络模型的反卷积层进行特征图维度扩充，获取维度扩充后的特征图；
[0028]将所述维度扩充后的特征图经过归一层进行归一化处理，获取关键点热力图。
[0029]为了解决上述问题，本专利技术还提供一种基于人体运动视频的模型构建方法，包括：
[0030]获取单元，用于获取待检测人体的骨骼运动视频，并将所述待检测人体的骨骼运动视频按照时间序列分解为骨骼运动图片序列；
[0031]人体的三维骨骼特征向量确定单元，用于通过预训练获得的ResNet网络的骨干网络和分支网络，根据所述骨骼运动图片序列，分别确定待检测人体的骨骼特征向量和待检测人体的三维外观特征向量；将所述待检测人体的骨骼特征向量与三维外观特征向量进行拼接，获取待检测人体的三维骨骼特征向量；
[0032]人体三维模型生成单元，用于将所述待检测人体的三维骨骼特征向量输入预训练获得的人体三维生成模型中，获取待检测人体的人体三维模型。
[0033]为了解决上述问题，本专利技术还提供一种电子设备，所述电子设备包括：至少一个处
理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述的基于人体运动视频的模型构建方法中的步骤。
[0034]为了解决上述问题，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现上述所述的基于人体运动视频的模型构建方法。
[0035]本专利技术提供的上述基于人体运动视频的模型构建方法，获取待检测人体的骨骼运动视频，并将所述待检测人体的骨骼运动视频按照时间序列分解为骨骼运动图片序列；通过预训练获得的ResNet网络的骨干网络和分支网络，根据所述骨骼运动图片序列，分别确定待检测人体的骨骼特征向量和待检测人体的三维外观特征向量；将所述待检测人体的骨骼特征向量与三维外观特征向量进行拼接，获取待检测人体的三维骨骼特征向量；将所本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于人体运动视频的模型构建方法，应用于电子装置，其特征在于，所述方法包括：获取待检测人体的骨骼运动视频，并将所述待检测人体的骨骼运动视频按照时间序列分解为骨骼运动图片序列；通过预训练获得的ResNet网络的骨干网络和分支网络，根据所述骨骼运动图片序列，分别确定待检测人体的骨骼特征向量和待检测人体的三维外观特征向量；将所述待检测人体的骨骼特征向量与三维外观特征向量进行拼接，获取待检测人体的三维骨骼特征向量；将所述待检测人体的三维骨骼特征向量输入预训练获得的人体三维生成模型中，获取待检测人体的人体三维模型。2.如权利要求1所述的基于人体运动视频的模型构建方法，其特征在于，所述待检测人体的骨骼特征向量的获取方法，包括，通过ResNet网络模型的骨干网络，根据所述骨骼运动图片序列，确定骨骼运动特征和关键点热力图；根据所述关键点热力图，获取骨骼关节点的关键点坐标；根据所述骨骼关节点的关键点坐标，确定待检测人体的骨骼特征向量。3.如权利要求1中所述的基于人体运动视频的模型构建方法，其特征在于，所述人体三维生成模型的训练方法包括：将各预测时序的人体的三维骨骼特征向量输入时序卷积网络，得到各预测时序的预测人体三维骨骼特征，基于预测时序的预测人体三维骨骼特征与所述预测时序对应的实际人体三维骨骼特征，训练时序卷积网络，直至预测人体三维骨骼特征与实际人体三维骨骼特征的损失函数满足预设标准，获取训练好的时序卷积网络；将时序卷积网络输出的各预测时序的骨骼预测特征输入分类器，得到各预测时序的人体三维模型，基于各预测时序的人体三维模型以及所述预测时序对应的实际人体三维模型，训练分类器；直至预测时序的人体三维模型以及所述预测时序对应的实际人体三维模型的损失函数满足预设标准，获取训练好的分类器，进而获取训练好的人体三维生成模型。4.如权利要求3所述的基于人体运动视频的模型构建方法，其特征在于，所述预测时序对应的实际人体三维模型的损失函数Lg，通过以下公式获取：Lg＝L
3D
+L
2D
+L
SMPL
+L
adv
+L
motion
+L
skeNet
其中，L
3D
是3D关节点的损失函数；L
2D
是2D关节点的损失函数；L
SMPL
是SMPL形状和位姿的损失函数；L
adv
是对抗损失函数；L
skeNet
是骨骼网络输出的骨骼向量的损失...
【专利技术属性】
技术研发人员：何辰立，董博，葛昊，陆进，刘玉宇，肖京，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。