基于多区域裁切的人体三维重建方法、系统及存储介质技术方案

技术编号:41751282 阅读:19 留言:0更新日期:2024-06-21 21:35
本发明专利技术公开了一种基于多区域裁切的人体三维重建方法、系统及存储介质,方法为:获取原始图片并使用裁剪框进行多区域裁切得到一组裁剪图片;输入预训练的特征提取网络中提取特征;利用特征融合网络对提取的特征进行融合得到融合特征;进行全局平均池化后输入人体参数回归网络得到每一组裁剪图片共享的人体三维参数;把融合特征输入相机参数回归网络得到每一组裁剪图片的局部投影参数;根据全局相机理论将局部投影参数转换为对应的全图投影参数;将人体三维参数及对应的全图投影参数输入SMPL模型重建得到人体三维模型。本发明专利技术通过多区域裁切并估计各自的局部相机,再基于全局相机理论转换为统一的全局相机,实现从单张原始图片重建人体模型的任务。

【技术实现步骤摘要】

本专利技术属于计算机视觉和三维重建的,具体涉及一种基于多区域裁切的人体三维重建方法、系统及存储介质


技术介绍

1、从单张人体图像中重建人体三维网格模型是计算机图形学和计算机视觉领域的重要任务之一,在三维重建、动画、以及最近的热点之一虚拟数字人等领域有广泛而重要的应用前景。目前,本领域最先进的进展大多采用基于深度学习和smpl模型的方法,回归出模型的姿态和形状参数进而重建出三维模型。通常,单张图片人体三维网格回归方法由三部分组成:按目标人体的包围框裁剪后的输入图片、编码/特征提取器以及解码/回归器。以最早的hmr方法为例,该方法以预训练的resnet-50网络为特征提取的骨干网络,由于resnet系列网络模型加入了跳跃连接(skip connection)从而使得神经网络提取特征的能力大大增强,骨干网络从单张图片中获取特征,随即送入三层的简单mlp回归头网络中得到人体三维网格的形状、动作参数{β,θ},理论上就完成了人体三维网格模型的回归。出于训练时能利用有效的二维监督的目的,包括hmr在内的许多方法往往会额外使用一个mlp回归头回归出弱透视投影相机参数其本文档来自技高网...

【技术保护点】

1.基于多区域裁切的人体三维重建方法,其特征在于,包括下述步骤:

2.根据权利要求1所述的基于多区域裁切的人体三维重建方法,其特征在于,所述使用裁剪框进行多区域裁切得到一组裁剪图片,具体为:

3.根据权利要求1所述的基于多区域裁切的人体三维重建方法,其特征在于,所述特征提取网络采用对比学习方法进行预训练,预训练步骤为:

4.根据权利要求3所述的基于多区域裁切的人体三维重建方法,其特征在于,所述对比学习损失函数,表示为:

5.根据权利要求1所述的基于多区域裁切的人体三维重建方法,其特征在于,所述特征融合网络的训练过程为:</p>

6.根据...

【技术特征摘要】

1.基于多区域裁切的人体三维重建方法,其特征在于,包括下述步骤:

2.根据权利要求1所述的基于多区域裁切的人体三维重建方法,其特征在于,所述使用裁剪框进行多区域裁切得到一组裁剪图片,具体为:

3.根据权利要求1所述的基于多区域裁切的人体三维重建方法,其特征在于,所述特征提取网络采用对比学习方法进行预训练,预训练步骤为:

4.根据权利要求3所述的基于多区域裁切的人体三维重建方法,其特征在于,所述对比学习损失函数,表示为:

5.根据权利要求1所述的基于多区域裁切的人体三维重建方法,其特征在于,所述特征融合网络的训练过程为:

6.根据权利要求1所述的基于多区域裁切的人体三维重建方法,其特征在于,所述得到人体...

【专利技术属性】
技术研发人员:聂勇伟刘畅臻李桂清蔡宏民
申请(专利权)人:华南理工大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1