【技术实现步骤摘要】
一种基于多图像输入的单帧图像3D人体重建方法
[0001]本专利技术涉及单位人体重建领域,尤其涉及一种基于多图像输入的单帧图像3D人体重建方法。
技术介绍
[0002]从单帧图像了解人类是计算机视觉的基本任务之一。在过去,研究界一直专注于预测2D内容,如关节点,剪影,以及来自RGB图像的部分分割。随着图像处理技术、神经网络、计算机硬件等技术进一步发展,三维人体重建技术逐渐成为计算机视觉、计算机图形学领域中重要的研究课题之一。通过计算机视觉图像的方式实现人体的表面重建,根据输入数据检测出人体的体态参数,即将这些数据转换为三维的数据信息。能够实现高效且高还原度的三维人体重建,在面貌还原、游戏与动画、增强现实(AR),以及虚拟现实(VR)、衣服试穿等领域中具有极为深远的意义。
[0003]现有三维人体重建方法具有以下问题:缺乏可以用于训练的3D数据;图像背景复杂,影响三维人体重建;人体姿态多样,图像存在歧义性;重建精度与效率不平衡等。
技术实现思路
[0004]本专利技术目的在于针对现有技术的不足,针对三维人体重建过程中存在精度不够的问题,本方面提供一种基于多图像输入的单帧图像3D人体重建方法,该方法具有简单、重建精度更高的特点。
[0005]该方法通过以下方案实现:一种基于多图像输入的单帧图像3D人体重建方法,步骤包括:
[0006]S1:由人体关节点检测网络以及实例分割网络对原始单帧图像进行人体关节点识别和人体图像分割,得到2D人体关节点图和2D人体分割图;
[0007] ...
【技术保护点】
【技术特征摘要】
1.一种基于多图像输入的单帧图像3D人体重建方法,其特征在于,该方法步骤包括:S1:由人体关节点检测网络以及实例分割网络对原始单帧图像进行人体关节点识别和人体图像分割,得到2D人体关节点图和2D人体分割图;S2:分别将原始单帧图像、2D人体关节点图和2D人体分割图输入到人体重建网络中每个图像对应的编码网络中,得到3个图像特征r1,r2,r3;S3:将图像特征r1,r2,r3拼接起来得到总图像特征r,再将r送入到人体重建网络的解码网络中,推理得到人体模型参数以及相机参数;将人体模型参数输入判别器,并判断人体模型参数的合理性;S4:通过人体模型参数驱动SMPL输出三维人体模型,并生成相应的3D关节点,通过相机参数将3D关节点投影到2D空间,得到2D关节点,监督人体重建网络的训练;S5:将原始单帧图像、2D人体关节点图和2D人体分割图输入到训练好的人体重建网络,得到人体模型参数并驱动SMPL输出最终三维人体模型。2.根据权利要求1所述的基于多图像输入的单帧图像3D人体重建方法,其特征在于,2D人体关节点图像是先由人体关节点检测网络检测到关节点,再根据人体关节的连接方式生成的,以此来表示人体大致的姿势;2D人体分割图则是由实例分割网络生成,以此来表示人体大致的轮廓。3.根据权利要求1所述的基于多图像输入的单帧图像3D人体重建方法,其特征在于,所述人体重建网络的编码网络包括三个并行的特征提取网络R1、R2、R3,输入分别为原始单帧图像、2D人体关节点图和2D人体分割图;R1、R2、R3使用的是三个ResNeXt50
‑
CBAM网络,该网络是由ResNeXt50网络增加CBAM模块所得。4.根据权利要求1所述的基于多图像输入的单帧图像3D人体重建方法,其特征在于,所述人体重建网络的解码网络是由全连接层构成的,首先将拼接后的特征通过一个全连接层,得到一个中间特征,将中间特征分别拼接初始化的人体模型参数以及相机参数,再分别通过一个全连接网络使用迭代误差反馈方式回归出最终的人体模型参数以及相机参数。5.根据权利要求1所述的基于多图像输入的单帧图像3D人体重建方法,其特征在于,所述人体重建网络的目标函数如下公式所示:L=λ
J3D
L
J3D
+λ
J2D
L
J2D
+λ
SMPL
L
SMPL
+λ
adv
L
adv
其中L
J3D
表示3D的人体关节点损失,L
J2D
表示2D的人体关节点损失,其中2D关节点J
2D<...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。