【技术实现步骤摘要】
人体重建方法、装置、设备及存储介质
[0001]本申请涉及人体重建
,尤其涉及一种人体重建方法
、
装置
、
电子设备及存储介质
。
技术介绍
[0002]现有的单目
RGB
人体重建方案中,主要依赖于人体参数化模型,常见的如
SMPL(Skinned Multi
‑
Person Linear Model
,多人蒙皮线性模型
)
,通过估计
SMPL
人体参数来重建人体
。SMPL
参数估计主要有两种方案,一种是依赖人体
2D
关键点通过非线性优化的方式估计,另一种是端到端训练从人体图像到
SMPL
参数的深度网络,推理得到
SMPL
参数
。
[0003]虽然基于现有的
SMPL
人体参数化模型,可以完成人体重建,但重建的都是相机坐标系空间中的人体,而一般实际需求中需要的是以地面为基准的世界坐标系空间
。
由于在拍照时,相机与水平面之间都存在或大或小的俯仰角和翻滚角,使得相机坐标系和世界坐标系之间存在着较大的差别,如正直站在水平地面上的人在相机坐标系中的重建结果就可能是倾斜的,进而导致人体重建的效果较差
。
技术实现思路
[0004]本申请实施例的目的是提供一种人体重建方法
、
装置
、
电子设备及存储介质,以解决相关技术中 ...
【技术保护点】
【技术特征摘要】
1.
一种人体重建方法,其特征在于,包括:获取目标相机图像;将所述目标相机图像输入至预训练好的人体重建模型中,得到所述目标相机图像所属的相机坐标系与世界坐标系的坐标差异,并根据所述坐标差异输出得到所述目标相机图像在世界坐标系中的世界重建人体;其中,所述预训练好的人体重建模型基于训练图像集合进行训练得到,所述人体重建模型包括触地检测模块
、
地面估计模块和
SMPL
,对所述触地检测模块
、
所述地面估计模块和所述
SMPL
进行联合训练,并在联合训练完成的情况下得到预训练好的人体重建模型
。2.
如权利要求1所述的人体重建方法,所述预训练好的人体重建模型的训练步骤,包括:获取训练图像集合,并加载待训练的人体重建模型,其中,所述训练图像集合包括相机图
、
第一重建人体和第二重建人体,且所述相机图像与所述第一重建人体和所述第二重建人体一一对应,所述第一重建人体为所述相机图像在所属的相机坐标系中的重建人体,所述第二重建人体为在世界坐标系中的重建人体,所述人体重建模型包括触地检测模块
、
地面估计模块和
SMPL
;根据所述训练图像集合对所述触地检测模块
、
所述地面估计模块和所述
SMPL
进行联合训练,并在完成一次训练的情况下分别得到第一损失
、
第二损失和第三损失;根据所述第一损失
、
所述第二损失和所述第三损失确定是否训练完成,并在确定训练完成的情况下得到预训练好的人体重建模型
。3.
如权利要求2所述的人体重建方法,其特征在于,所述根据所述训练图像集合对所述触地检测模块
、
所述地面估计模块和所述
SMPL
进行联合训练,并在完成一次训练的情况下得到第一损失
、
第二损失和第三损失,包括:根据所述训练图像集合对所述触地检测模块进行训练,并在完成一次训练的情况下得到第一损失;根据所述训练图像集合对所述地面估计模块进行训练,并在完成一次训练的情况下得到第二损失;根据所述训练图像对所述
SMPL
进行训练,并在完成一次训练的情况下得到第三损失
。4.
如权利要求3所述的人体重建方法,其特征在于,所述根据所述训练图像集合对所述地面估计模块进行训练,并在完成一次训练的情况下得到第二损失,包括:将所述训练图像集合中的各相机图像输入至所述地面估计模块中,确定各相机图像对应的第一平面法线向量和第一相机垂直距离;根据所述第一平面法线向量
、
所述第一相机垂直距离和各相机图像所属的相机坐标系,得到各相机图像对应的世界重建人体;根据各相机图像对应的世界重建人体与所述第二重建人体进行处理,得到第二损失
。5.
如权利要求2所述的人体重建方法,其特征在于,所述根据所述第一损失
、
所述第二损失和所述第三损失确定是否训练完成,并在确定训练完成的情...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。