基于时序坐标信息的单阶段多人网格模型构建方法及系统技术方案

本发明专利技术公开了基于时序坐标信息的单阶段多人网格模型构建方法及系统，方法包括：获取现实场景视频；通过神经网络对现实场景视频进行特征提取，预测人物中心图、相机参数图和人物参数图；利用人物中心热力图对相机参数图和人物参数图进行聚焦处理，并基于神经网络进行空间和时间关系建模，建模人物模型之间的时空联系，预测最终的相机参数图与人物参数图；找出人物中心热力图中判断为人的区域，并索引到对应的相机参数图与人物参数图，生成人物模型。本发明专利技术避免了显式检测和显式跟踪带来的算力消耗，实现了人物模型回归的简易性、低算力消耗和精准性，可广泛应用于计算机技术领域。可广泛应用于计算机技术领域。可广泛应用于计算机技术领域。

【技术实现步骤摘要】
基于时序坐标信息的单阶段多人网格模型构建方法及系统


[0001]本专利技术涉及计算机
，尤其是基于时序坐标信息的单阶段多人网格模型构建方法及系统。

技术介绍

[0002]随着元宇宙、虚拟现实、增强现实、虚拟试衣等技术的发展和成熟，人们迫切需要一种简单且通用的人物模型构建方法，以便生成自己的独立形象并投身参与不同的应用场景。在此背景和挑战下，基于单帧的单人网格模型回归方法取得了较大的成果，他们先使用检测器检测出图片中人物所在的区域，并在该区域上回归出对应的3D人物网格模型。然而，现实中的运动都是连续一致，并且以视频的形式存在的。因此需求基于视频的方法来得到一系列自然准确且连续一致的人物模型，同时保证没有因为检测器漏检导致人物模型遗漏。
[0003]现有基于视频的方法通常遵循多阶段的系统设计规范，即在真正根据所裁剪的图片进行人物模型回归前，通常需要人物检测器和人物跟踪器以进行针对多人的人物检测以及针对单人的人物跟踪，以此获得每个人的裁剪图片序列。这种自上而下的设计规范将多人的运动图像序列先拆解为针对单人的运动图像序列，然后在此序列上利本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于时序坐标信息的单阶段多人网格模型构建方法，其特征在于，包括：获取现实场景视频；通过神经网络对所述现实场景视频进行特征提取，并根据提取到的特征预测人物中心图、相机参数图和人物参数图；利用人物中心热力图对所述相机参数图和所述人物参数图进行聚焦处理，并基于神经网络进行空间和时间关系建模，建模人物模型之间的时空联系，预测最终的相机参数图与人物参数图；找出人物中心热力图中判断为人的区域，并索引到对应的相机参数图与人物参数图，生成人物模型。2.根据权利要求1所述的基于时序坐标信息的单阶段多人网格模型构建方法，其特征在于，所述通过神经网络对所述现实场景视频进行特征提取，并根据提取到的特征预测人物中心图、相机参数图和人物参数图，包括：基于深度学习的特征提取器对所述现实场景视频的每一帧进行特征提取，得到图像特征；为所述图像特征增加代表像素两个方向上的坐标特征，得到增强后的图像特征；通过多头卷积层对所述增强后的图像特征进行预测处理，得到人物中心热力图、相机参数图和人物参数图。3.根据权利要求1所述的基于时序坐标信息的单阶段多人网格模型构建方法，其特征在于，所述利用人物中心热力图对所述相机参数图和所述人物参数图进行聚焦处理这一步骤中，所述聚焦处理的表达式为：Camera
c
＝Camera
c
⊙
HeatmapSMPL
c
＝SMPL
c
⊙
Heatmap其中，Camera
c
和SMPL
c
分别代表相机参数图和人物参数图的第c维度特征，
⊙
代表求矩阵之间的哈达玛积；Heatmap代表人物中心热力图。4.根据权利要求1所述的基于时序坐标信息的单阶段多人网格模型构建方法，其特征在于，所述利用人物中心热力图对所述相机参数图和所述人物参数图进行聚焦处理，并基于神经网络进行空间和时间关系建模，建模人物模型之间的时空联系，预测最终的相机参数图与人物参数图，包括：将相机参数图和人物参数图拼接为网格特征图；为所述网格特征图拼接代表时间和坐标高度属性的坐标信息，得到增强后的网格特征图；根据所述增强后的网格特征图，通过Temporal Transformer建模处理得到时间特征；根据所述增强后的网格特征图，通过Spatial Transfo...

【专利技术属性】
技术研发人员：梁小丹，李浩源，
申请(专利权)人：中山大学，
类型：发明
国别省市：