【技术实现步骤摘要】
本申请涉及图像处理，特别是涉及一种三维人体模型构建方法及装置。
技术介绍
1、人体体型与姿势恢复技术在动画制作、ar展示、游戏、虚拟试衣以及虚拟人体上有着重要作用。目前，人体体型与姿势恢复技术采用动作捕捉系统构建三维人体模型，完成人体体型与姿势的恢复。虽然，动作捕捉系统构能够精确的构建出三维人体模型，但是动作捕捉系统的价格十分昂贵，大大增加了三维人体模型的构建成本。
技术实现思路
1、本申请实施例的目的在于提供一种三维人体模型构建方法及装置，以降低三维人体模型的构建成本。具体技术方案如下：
2、为实现上述目的，本申请实施例提供了一种三维人体模型构建方法，所述方法包括：
3、确定rgb-深度(rgb and depth，rgbd)相机采集的包含目标对象的目标可见光图像和目标深度图像；
4、将所述目标可见光图像转换为目标iuv图像；
5、基于所述目标iuv图像和所述目标深度图像，确定所述目标对象的参数化人体模型参数；
6、利用所述参数化人体模型参数，生成所述目标对象的三维人体模型。
7、可选的，所述确定rgbd相机采集的包含目标对象的目标可见光图像和目标深度图像的步骤，包括：
8、获取rgbd相机采集的包含目标对象的初始可见光图像和初始深度图像；
9、将所述初始深度图像转换为所述初始可见光图像对应的相机坐标系下的图像，得到过度深度图像；
10、将所述过度深度图像与所述初始可见光图
11、可选的，所述将所述过度深度图像与所述初始可见光图像进行像素对齐，得到目标可见光图像和目标深度图像的步骤，包括：
12、将所述初始可见光图像为目标可见光图像；
13、对所述过度深度图像进行插值上采样，得到与所述目标可见光图像像素对齐的目标深度图像。
14、可选的，所述将所述初始深度图像转换为所述初始可见光图像对应的相机坐标系下的图像，得到过度深度图像的步骤，包括：
15、对所述初始深度图像和所述初始可见光图像进行去畸变操作，得到去畸变深度图像和去畸变可见光图像；
16、将所述去畸变深度图像转换为所述去畸变可见光图像对应的相机坐标系下的图像，得到过度深度图像。
17、可选的，所述方法还包括：
18、对所述目标可见光图像进行检测；
19、若在所述目标可见光图像中检测到人体框，则执行所述将所述目标可见光图像转换为目标iuv图像的步骤。
20、可选的，所述将所述目标可见光图像转换为目标iuv图像的步骤，包括：
21、将所述目标可见光图像中人体框所在区域转换为目标iuv图像。
22、可选的，所述基于所述目标iuv图像和所述目标深度图像，确定所述目标对象的参数化人体模型参数的步骤，包括：
23、获取所述目标深度图像对应的目标点云图像；
24、合并所述目标iuv图像和所述目标点云图像，得到合并图像；
25、基于所述合并图像，确定所述目标对象的参数化人体模型参数。
26、可选的，所述获取所述目标深度图像对应的目标点云图像的步骤，包括：
27、采用反投影算法，将所述目标深度图像转换为点云图像，得到目标点云图像；或者
28、采用反投影算法，将所述目标深度图像中所述目标对象对应的人体框所在的区域转换为点云图像，得到目标点云图像；或者
29、采用反投影算法，将所述目标深度图像转换为点云图像，得到初始点云图像；将所述初始点云图像中所述目标对象的每个顶点减去所述目标对象的重心，得到目标点云图像；或者
30、采用反投影算法，将所述目标深度图像中所述目标对象对应的人体框所在的区域转换为点云图像，得到初始点云图像；将所述初始点云图像中所述目标对象的每个顶点减去所述目标对象的重心，得到目标点云图像。
31、可选的，所述基于所述合并图像，确定所述目标对象的参数化人体模型参数的步骤，包括：
32、对所述合并图像进行特征提取，得到多种分辨率的特征图像；
33、基于所述多种分辨率的特征图像，确定二维关节点信息；
34、基于所述二维关节点信息以及所述多种分辨率的特征图像，确定所述目标对象的参数化人体模型参数。
35、可选的，所述基于所述多种分辨率的特征图像，确定二维关节点信息的步骤，包括：
36、对所述多种分辨率的特征图像中的最大分辨率的特征图像进行多次卷积操作以及分类操作，得到二维关节点的热图像；
37、基于所述热图像，确定二维关节点信息。
38、可选的，所述参数化人体模型参数包括三维人体模型坐标系与rgbd相机坐标系之间的平移关系和其他三维参数；
39、所述基于所述二维关节点信息以及所述多种分辨率的特征图像，确定所述目标对象的参数化人体模型参数的步骤，包括：
40、从所述多种分辨率的特征图像中，选择分辨率最小且未被选中的特征图像，更新为候选图像；
41、对预设参数化人体模型参数对应的三维人体模型进行采样，得到采样后三维人体模型；将所述采样后三维人体模型中所述目标对象的顶点投影至候选图像上，得到过度图像；
42、对所述过度图像和预设参数化人体模型参数中的其他三维参数进行回归处理，得到候选其他三维参数；
43、基于所述二维关节点信息、所述rgbd相机的内参和所述候选其他三维参数，进行平移估计，得到候选平移关系；
44、将所述候选平移关系和所述候选其他三维参数更新为预设参数化人体模型参数，重新执行所述从所述多种分辨率的特征图像中，选择分辨率最小且未被选中的特征图像，更新为候选图像的步骤，直至所有特征图像均被选中为止，更新后的预设参数化人体模型参数为所述目标对象的参数化人体模型参数。
45、可选的，所述基于所述目标iuv图像和所述目标深度图像，确定所述目标对象的参数化人体模型参数的步骤，包括：
46、基于所述目标iuv图像和所述目标深度图像，采用金字塔网格对齐反馈网络，确定所述目标对象的参数化人体模型参数，所述金字塔网格对齐反馈网络利用预设训练集训练得到，所述预设训练集包括：多个样本iuv图像和样本深度图像。
47、可选的，所述方法还包括：
48、从预设参数化人体模型参数训练集中随机抽取参数化人体模型参数信息；
49、对抽取的参数化人体模型参数信息进行渲染，得到初始可见光图像、初始深度图像和样本参数化人体模型参数；
50、将所述初始可见光图像转换为初始iuv图像；
51、基于所述初始iuv图像、初始深度图像和样本参数化人体模型参数，构建所述预设训练集。
52、可选的，所述基于所述初始iuv图像、初始深度图像和样本参数化人体模型参数，本文档来自技高网...
【技术保护点】
1.一种三维人体模型构建方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述确定RGBD相机采集的包含目标对象的目标可见光图像和目标深度图像的步骤，包括：
3.根据权利要求2所述的方法，其特征在于，所述将所述过度深度图像与所述初始可见光图像进行像素对齐，得到目标可见光图像和目标深度图像的步骤，包括：
4.根据权利要求2所述的方法，其特征在于，所述将所述初始深度图像转换为所述初始可见光图像对应的相机坐标系下的图像，得到过度深度图像的步骤，包括：
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
6.根据权利要求5所述的方法，其特征在于，所述将所述目标可见光图像转换为目标IUV图像的步骤，包括：
7.根据权利要求1所述的方法，其特征在于，所述基于所述目标IUV图像和所述目标深度图像，确定所述目标对象的参数化人体模型参数的步骤，包括：
8.根据权利要求7所述的方法，其特征在于，所述获取所述目标深度图像对应的目标点云图像的步骤，包括：
9.根据权利要求7所
10.根据权利要求9所述的方法，其特征在于，所述基于所述多种分辨率的特征图像，确定二维关节点信息的步骤，包括：
11.根据权利要求9所述的方法，其特征在于，所述参数化人体模型参数包括三维人体模型坐标系与RGBD相机坐标系之间的平移关系和其他三维参数；
12.根据权利要求1所述的方法，其特征在于，所述基于所述目标IUV图像和所述目标深度图像，确定所述目标对象的参数化人体模型参数的步骤，包括：
13.根据权利要求12所述的方法，其特征在于，所述方法还包括：
14.根据权利要求13所述的方法，其特征在于，所述基于所述初始IUV图像、初始深度图像和样本参数化人体模型参数，构建所述预设训练集的步骤，包括：
15.根据权利要求14所述的方法，其特征在于，所述数据增强操作包括以下至少一种操作：
16.根据权利要求12所述的方法，其特征在于，所述方法还包括：
17.根据权利要求1-16任一项所述的方法，其特征在于，所述参数化人体模型为蒙皮多人线性SMPL模型或形体还原及人物动画SCAPE模型。
18.一种三维人体模型构建装置，其特征在于，所述装置包括：
...【技术特征摘要】
1.一种三维人体模型构建方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述确定rgbd相机采集的包含目标对象的目标可见光图像和目标深度图像的步骤，包括：
3.根据权利要求2所述的方法，其特征在于，所述将所述过度深度图像与所述初始可见光图像进行像素对齐，得到目标可见光图像和目标深度图像的步骤，包括：
4.根据权利要求2所述的方法，其特征在于，所述将所述初始深度图像转换为所述初始可见光图像对应的相机坐标系下的图像，得到过度深度图像的步骤，包括：
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
6.根据权利要求5所述的方法，其特征在于，所述将所述目标可见光图像转换为目标iuv图像的步骤，包括：
7.根据权利要求1所述的方法，其特征在于，所述基于所述目标iuv图像和所述目标深度图像，确定所述目标对象的参数化人体模型参数的步骤，包括：
8.根据权利要求7所述的方法，其特征在于，所述获取所述目标深度图像对应的目标点云图像的步骤，包括：
9.根据权利要求7所述的方法，其特征在于，所述基于所述合并图像，确定所述目标对象的参数化人体模型参数...
【专利技术属性】
技术研发人员：许宝杯，李朝阳，程海敬，杨世才，谢迪，浦世亮，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。