【技术实现步骤摘要】
姿态描述信息生成方法、模型的训练方法和装置
[0001]本公开涉及人工智能
,具体为计算机视觉、增强现实、虚拟现实、深度学习等
,可应用于元宇宙、数字人等场景。本公开具体涉及一种姿态描述信息生成方法和装置、一种姿态描述信息生成模型的训练方法、装置、电子设备、存储介质和计算机程序产品。
技术介绍
[0002]随着人工智能技术的发展,人体重建技术被广泛地应用于视频制作、电子游戏和虚拟数字人等领域,以提高用户的沉浸式体验。其中,姿态描述信息是人体重建技术的基础,因此,如何更好地获取姿态描述信息对于人体重建过程具有重要意义。
技术实现思路
[0003]本公开提供了一种姿态描述信息生成方法和装置、一种姿态描述信息生成模型的训练方法、装置、电子设备、存储介质和计算机程序产品。
[0004]根据本公开的一方面,提供了一种姿态描述信息生成方法,包括:对目标图像进行特征提取,得到目标图像的特征图,目标图像包括至少一个目标对象;根据特征图,确定目标图像中至少一个目标对象各自对应的位置信息;根据至少一个目标对象各自对应的位置信息,从特征图中提取出与至少一个目标对象各自对应的形态特征;以及根据形态特征,生成与至少一个目标对象各自对应的姿态描述信息。
[0005]根据本公开的另一方面,提供了一种姿态描述信息生成模型的训练方法,姿态描述信息生成模型包括第一网络和第二网络,所述方法包括:使用第一网络对样本图像进行特征提取,得到样本图像的特征图,样本图像包括至少一个目标对象以及至少一个目标对象各自对应的标 ...
【技术保护点】
【技术特征摘要】
1.一种姿态描述信息生成方法,包括:对目标图像进行特征提取,得到所述目标图像的特征图,所述目标图像包括至少一个目标对象;根据所述特征图,确定所述目标图像中至少一个目标对象各自对应的位置信息;根据所述至少一个目标对象各自对应的位置信息,从所述特征图中提取出与所述至少一个目标对象各自对应的形态特征;以及根据所述形态特征,生成与所述至少一个目标对象各自对应的姿态描述信息。2.根据权利要求1所述的方法,其中,所述根据所述特征图,确定所述目标图像中至少一个目标对象各自对应的位置信息包括:根据所述特征图,得到与所述目标图像对应的高斯热图;根据所述高斯热图,确定所述目标图像中至少一个目标对象各自的中心点定位信息;以及将所述至少一个目标对象各自的中心点定位信息,确定为所述至少一个目标对象各自对应的位置信息。3.根据权利要求1或2所述的方法,其中,所述根据所述形态特征,生成与所述至少一个目标对象各自对应的姿态描述信息包括:针对每个目标对象,根据所述目标对象对应的形态特征,回归得到与所述目标对象对应的形态参数;根据所述目标对象对应的形态参数,确定与所述目标对象对应的三维关键点信息;以及将所述三维关键点信息,确定为所述姿态描述信息。4.根据权利要求3所述的方法,其中,所述根据所述形态特征,生成与所述至少一个目标对象各自对应的姿态描述信息还包括:根据所述目标对象对应的三维关键点信息和相机参数,确定与所述三维关键点信息对应的二维关键点信息;其中,所述相机参数是根据所述形态特征来确定的;以及将所述三维关键点信息和所述二维关键点信息,确定为所述姿态描述信息。5.根据权利要求1至4中任一项所述的方法,还包括:根据与所述至少一个目标对象各自对应的姿态描述信息,对所述目标图像中的目标对象进行姿态识别。6.根据权利要求1至5中任一项所述的方法,还包括:根据与所述至少一个目标对象各自对应的姿态描述信息,确定针对所述目标对象的三维对象模型。7.一种姿态描述信息生成模型的训练方法,所述姿态描述信息生成模型包括第一网络和第二网络,所述方法包括:使用所述第一网络对样本图像进行特征提取,得到所述样本图像的特征图,所述样本图像包括至少一个目标对象以及所述至少一个目标对象各自对应的标签;根据所述特征图,确定所述样本图像中至少一个目标对象各自对应的位置信息;根据所述至少一个目标对象各自对应的位置信息,从所述特征图中提取出与所述至少一个目标对象各自对应的形态特征;
使用所述第二网络根据所述形态特征,生成与所述至少一个目标对象各自对应的姿态描述信息;以及根据所述至少一个目标对象各自对应的姿态描述信息以及所述标签来调整所述第一网络的参数和所述第二网络的参数。8.根据权利要求7所述的方法,其中,所述根据所述特征图,确定所述样本图像中至少一个目标对象各自对应的位置信息包括:根据所述特征图,得到与所述样本图像对应的高斯热图;根据所述高斯热图,确定所述样本图像中至少一个目标对象各自的中心点定位信息;以及将所述至少一个目标对象各自的中心点定位信息,确定为所述至少一个目标对象各自对应的位置信息。9.根据权利要求7或8所述的方法,其中,所述使用所述第二网络根据所述形态特征,生成与所述至少一个目标对象各自对应的姿态描述信息包括:针对每个目标对象,根据所述目标对象对应的形态特征,回归得到与所述目标对象对应的形态参数;使用所述第二网络根据所述目标对象对应的形态参数,确定与所述目标对象对应的三维关键点信息;以及将所述三维关键点信息,确定为所述姿态描述信息。10.根据权利要求9所述的方法,其中,所述使用所述第二网络根据所述形态特征,生成与所述至少一个目标对象各自对应的姿态描述信息还包括:根据所述目标对象对应的三维关键点信息和相机参数,确定与所述三维关键点信息对应的二维关键点信息;其中,所述相机参数是根据所述形态特征来确定的;以及将所述三维关键点信息和所述二维关键点信息,确定为所述姿态描述信息。11.根据权利要求10所述的方法,其中,所述根据所述至少一个目标对象各自对应的姿态描述信息以及所述标签来调整所述第一网络的参数和所述第二网络的参数包括:根据所述姿态描述信息和所述标签,确定样本损失;以及根据所述样本损失来调整所述第一网络的参数和所述第二网络的参数。12.根据权利要求11所述的方法,其中,所述标签包括二维关键点信息标签;所述根据所述姿态描述信息和所述标签,确定样本损失包括:根据所述二维关键点信息标签和所述二维关键点信息,确定第一姿态描述信息损失;以及将所述第一姿态描述信息损失,确定为所述样本损失。13.根据权利要求12所述的方法,其中,所述标签还包括三维关键点信息标签;所述根据所述姿态描述信息和所述标签,确定样本损失还包括:根据所述三维关键点信息标签和所述三维关键点信息,确定第二姿态描述信息损失;以及将所述第一姿态描述信息损失和所述第二姿态描述信息损失,确定为所述样本损失。14.根据权利要求13所述的方法,其中,所述标签还包括形态参数标签;所述根据所述姿态描述信息和所述标签,确定样本损失还包括:
根据所述形态参数和所述形态参数标签,确定形态参数损失;以及将所述形态参数损失、所述第一姿态描述信息损失和所述第二姿态描述信息损失,确定为所述样本损失。15.根据权利要求7至14中任一项所述的方法,还包括:在使用所述第一网络对样本图像进行特征提取之前,对所述样本图像进行预处理;其中,所述预处理包括以下至少一项:缩放、旋转、翻转和色彩抖动。16.一种姿态描述信息生成装置,包括:第一提取模块,用于对目标图像进行特征提取,得到所述目标图像的特征图,所述目标图像包括至少一个目标对象;第一确定模块,用于根据所述特征图,确定所述目标图像中至少一个目标对象各自对应的位置信息;第二提取模块,用于根据所述至少一个目标对象各自对应的位置信息,从所述特征图中提取出与所述至少一个目...
【专利技术属性】
技术研发人员:杨黔生,
申请(专利权)人:北京百度网讯科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。