生成3D关节点回归模型的方法和装置制造方法及图纸

本公开实施例公开了生成3D关节点回归模型的方法和装置。方法包括：获取附有2D标签的样本图像和附有3D标签的样本图像；将附有2D标签的样本图像作为第一输入，将与2D标签对应的关节点热力图集合作为第一期望输出，训练基础3D关节点回归模型的输出层中的部分通道；将附有3D标签的样本图像作为第二输入，将与3D标签对应的关节点热力图集合作为第二期望输出的第一部分输出、与3D标签对应的关节点深度信息图集合作为第二期望输出的第二部分输出，训练基础3D关节点回归模型的输出层中的所有通道。该方法可以在附有3D标签的样本图像有限的情况下训练出具有较高预测能力的关节点回归模型。

Method and device for generating 3D joint regression model

【技术实现步骤摘要】
生成3D关节点回归模型的方法和装置
本公开涉及计算机
，具体涉及三维(3D)肢体回归
，尤其涉及生成三维(3D)关节点回归模型的方法和装置、生成3D关节点坐标的方法和装置。
技术介绍
基于混合数据的3D肢体回归技术是指在利用深度学习技术进行三维3D肢体回归时使用二维(2D)标注数据与三维(3D)标注数据同时学习。如今随着深度学习技术的发展，其在各个领域的应用也越来越广，例如各种物体或任务的关键点的回归。深度学习技术依赖于精确标注的数据，而3D数据的标注则比2D数据的标注难度要高很多，所以目前学术界与工业界大多是对2D关键点的回归，而对3D肢体的学习的研究则相对较少。
技术实现思路
本公开实施例提供了生成3D关节点回归模型的方法和装置、生成3D关节点坐标的方法和装置。第一方面，本公开实施例提供了一种生成3D关节点回归模型的方法，包括：获取附有2D标签的样本图像和附有3D标签的样本图像；将附有2D标签的样本图像作为第一输入，将与2D标签对应的关节点热力图集合作为第一期望输出，训练基础3D关节点回归模型的输出层本文档来自技高网...

【技术保护点】
1.一种生成3D关节点回归模型的方法，所述方法包括：/n获取附有2D标签的样本图像和附有3D标签的样本图像；/n将所述附有2D标签的样本图像作为第一输入，将与2D标签对应的关节点热力图集合作为第一期望输出，训练基础3D关节点回归模型的输出层中的部分通道；/n将所述附有3D标签的样本图像作为第二输入，将与3D标签对应的关节点热力图集合作为第二期望输出的第一部分输出、与3D标签对应的关节点深度信息图集合作为第二期望输出的第二部分输出，训练所述基础3D关节点回归模型的输出层中的所有通道。/n

【技术特征摘要】
1.一种生成3D关节点回归模型的方法，所述方法包括：
获取附有2D标签的样本图像和附有3D标签的样本图像；
将所述附有2D标签的样本图像作为第一输入，将与2D标签对应的关节点热力图集合作为第一期望输出，训练基础3D关节点回归模型的输出层中的部分通道；
将所述附有3D标签的样本图像作为第二输入，将与3D标签对应的关节点热力图集合作为第二期望输出的第一部分输出、与3D标签对应的关节点深度信息图集合作为第二期望输出的第二部分输出，训练所述基础3D关节点回归模型的输出层中的所有通道。


2.根据权利要求1所述的方法，其中，所述将所述附有2D标签的样本图像作为第一输入，将与2D标签对应的关节点热力图集合作为第一期望输出，训练基础3D关节点回归模型的输出层中的部分通道包括：
将所述附有2D标签的样本图像作为第一输入，将与2D标签对应的关节点热力图集合作为第一期望输出，将与附有2D标签的样本图像对应的几何约束损失函数作为对应所述第一期望输出的损失函数，训练基础3D关节点回归模型的输出层中的部分通道。


3.根据权利要求1所述的方法，其中，所述将所述附有3D标签的样本图像作为第二输入，将与3D标签对应的关节点热力图集合作为第二期望输出的第一部分输出、与3D标签对应的关节点深度信息图集合作为第二期望输出的第二部分输出，训练所述基础3D关节点回归模型的输出层中的所有通道包括：
将所述附有3D标签的样本图像作为第二输入，将与3D标签对应的关节点热力图集合作为第二期望输出的第一部分输出、与3D标签对应的关节点深度信息图集合作为第二期望输出的第二部分输出，并将与附有3D标签的样本图像对应的几何约束损失函数的加权值作为对应所述第二期望输出的第一部分输出的损失函数，将与附有3D标签的样本图像对应的欧式距离损失函数的加权值作为对应所述第二期望输出的第二部分输出的损失函数，训练所述基础3D关节点回归模型的输出层中的所有通道。


4.根据权利要求2或3所述的方法，其中，所述几何约束损失函数包括：各个预测骨骼的长度比例与样本图像集骨骼的长度比例的平均值之间的欧式距离；其中，预测骨骼为所述基础3D关节点回归模型输出的关节点热力图集合中的骨骼；
各个预测骨骼的长度比例为：单次训练所选取的样本图像集中的各张样本图像所对应的各个预测骨骼的长度与基准数据集中的骨骼的长度的比例；
样本图像集骨骼的长度比例为：单次训练所选取的图像样本集中的所有样本图像所对应的所有的预测骨骼的长度与基准数据集中的骨骼的长度的比例。


5.根据权利要求3所述的方法，其中，所述与附有3D标签的样本图像对应的欧式距离损失函数包括：
在将所述附有3D标签的样本图像作为第二输入时，所述基础3D关节点回归模型输出的关节点深度信息图集合中的深度信息与所述3D标签中标注的关节点深度信息的欧式距离。


6.根据权利要求1所述的方法，其中，所述基础3D关节点回归模型包括以下任意一项：初始3D关节点回归模型；或
采用附有2D标签的样本图像训练初始3D关节点回归模型所得到的预训练的3D关节点回归模型。


7.根据权利要求6所述的方法，其中，所述预训练的3D关节点回归模型经由以下步骤确定：
将附有2D标签的样本图像作为输入、将所述2D标签作为期望输出、将基于关节点回归模型输出的关节点热力图集合所确定的关节点坐标与2D标签中的2D关节点坐标之间的欧式距离作为损失函数，训练所述初始3D关节点回归模型得到。


8.一种生成3D关节点坐标的方法，包括：
获取包含人物的图像；
将所述图像输入已训练的3D关节点回归模型，得到所述已训练的3D关节点回归模型输出的关节点热力图集合和关节点深度信息图集合；其中，所述已训练的3D关节点回归模型采用如权利要求1-7中任意一项所述的生成3D关节点回归模型的方法训练基础3D关节点回归模型得到；
基于所述关节点热力图集合和关节点深度信息图集合，确定所述人物的3D关节点坐标。


9.根据权利要求8所述的方法，其中，所述方法还包括：
基于所述人物的3D关节点坐标，确定人体的动作参数；
基于所述人体的动作参数，生成提示所述人物的动作的提示信息。


10.一种生成3D关节点回归模型的装置，所述装置包括：
样本图像获取单元，被配置成获取附有2D标签的样本图像和附有3D标签的样本图像；
部分通道训练单元，被配置成将所述附有2D标签的样本...

【专利技术属性】
技术研发人员：孟庆月，赵晨，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11