【技术实现步骤摘要】
本专利技术属于计算机视觉和三维重建的,具体涉及一种基于多区域裁切的人体三维重建方法、系统及存储介质。
技术介绍
1、从单张人体图像中重建人体三维网格模型是计算机图形学和计算机视觉领域的重要任务之一,在三维重建、动画、以及最近的热点之一虚拟数字人等领域有广泛而重要的应用前景。目前,本领域最先进的进展大多采用基于深度学习和smpl模型的方法,回归出模型的姿态和形状参数进而重建出三维模型。通常,单张图片人体三维网格回归方法由三部分组成:按目标人体的包围框裁剪后的输入图片、编码/特征提取器以及解码/回归器。以最早的hmr方法为例,该方法以预训练的resnet-50网络为特征提取的骨干网络,由于resnet系列网络模型加入了跳跃连接(skip connection)从而使得神经网络提取特征的能力大大增强,骨干网络从单张图片中获取特征,随即送入三层的简单mlp回归头网络中得到人体三维网格的形状、动作参数{β,θ},理论上就完成了人体三维网格模型的回归。出于训练时能利用有效的二维监督的目的,包括hmr在内的许多方法往往会额外使用一个mlp回归头回归出
...【技术保护点】
1.基于多区域裁切的人体三维重建方法,其特征在于,包括下述步骤:
2.根据权利要求1所述的基于多区域裁切的人体三维重建方法,其特征在于,所述使用裁剪框进行多区域裁切得到一组裁剪图片,具体为:
3.根据权利要求1所述的基于多区域裁切的人体三维重建方法,其特征在于,所述特征提取网络采用对比学习方法进行预训练,预训练步骤为:
4.根据权利要求3所述的基于多区域裁切的人体三维重建方法,其特征在于,所述对比学习损失函数,表示为:
5.根据权利要求1所述的基于多区域裁切的人体三维重建方法,其特征在于,所述特征融合网络的训练过程为:<
...【技术特征摘要】
1.基于多区域裁切的人体三维重建方法,其特征在于,包括下述步骤:
2.根据权利要求1所述的基于多区域裁切的人体三维重建方法,其特征在于,所述使用裁剪框进行多区域裁切得到一组裁剪图片,具体为:
3.根据权利要求1所述的基于多区域裁切的人体三维重建方法,其特征在于,所述特征提取网络采用对比学习方法进行预训练,预训练步骤为:
4.根据权利要求3所述的基于多区域裁切的人体三维重建方法,其特征在于,所述对比学习损失函数,表示为:
5.根据权利要求1所述的基于多区域裁切的人体三维重建方法,其特征在于,所述特征融合网络的训练过程为:
6.根据权利要求1所述的基于多区域裁切的人体三维重建方法,其特征在于,所述得到人体...
【专利技术属性】
技术研发人员:聂勇伟,刘畅臻,李桂清,蔡宏民,
申请(专利权)人:华南理工大学,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。