姿态描述信息生成方法、模型的训练方法和装置制造方法及图纸

技术编号:38143715 阅读:10 留言:0更新日期:2023-07-08 10:00
本公开提供了一种姿态描述信息生成方法、模型的训练方法和装置,涉及人工智能领域,具体为计算机视觉、增强现实、虚拟现实、深度学习等技术领域,可应用于元宇宙、数字人等场景。具体实现方案为:对目标图像进行特征提取,得到目标图像的特征图,目标图像包括至少一个目标对象;根据特征图,确定目标图像中至少一个目标对象各自对应的位置信息;根据至少一个目标对象各自对应的位置信息,从特征图中提取出与至少一个目标对象各自对应的形态特征;以及根据形态特征,生成与至少一个目标对象各自对应的姿态描述信息。的姿态描述信息。的姿态描述信息。

【技术实现步骤摘要】
姿态描述信息生成方法、模型的训练方法和装置


[0001]本公开涉及人工智能
,具体为计算机视觉、增强现实、虚拟现实、深度学习等
,可应用于元宇宙、数字人等场景。本公开具体涉及一种姿态描述信息生成方法和装置、一种姿态描述信息生成模型的训练方法、装置、电子设备、存储介质和计算机程序产品。

技术介绍

[0002]随着人工智能技术的发展,人体重建技术被广泛地应用于视频制作、电子游戏和虚拟数字人等领域,以提高用户的沉浸式体验。其中,姿态描述信息是人体重建技术的基础,因此,如何更好地获取姿态描述信息对于人体重建过程具有重要意义。

技术实现思路

[0003]本公开提供了一种姿态描述信息生成方法和装置、一种姿态描述信息生成模型的训练方法、装置、电子设备、存储介质和计算机程序产品。
[0004]根据本公开的一方面,提供了一种姿态描述信息生成方法,包括:对目标图像进行特征提取,得到目标图像的特征图,目标图像包括至少一个目标对象;根据特征图,确定目标图像中至少一个目标对象各自对应的位置信息;根据至少一个目标对象各自对应的位置信息,从特征图中提取出与至少一个目标对象各自对应的形态特征;以及根据形态特征,生成与至少一个目标对象各自对应的姿态描述信息。
[0005]根据本公开的另一方面,提供了一种姿态描述信息生成模型的训练方法,姿态描述信息生成模型包括第一网络和第二网络,所述方法包括:使用第一网络对样本图像进行特征提取,得到样本图像的特征图,样本图像包括至少一个目标对象以及至少一个目标对象各自对应的标签;根据特征图,确定样本图像中至少一个目标对象各自对应的位置信息;根据至少一个目标对象各自对应的位置信息,从特征图中提取出与至少一个目标对象各自对应的形态特征;使用第二网络根据形态特征,生成与至少一个目标对象各自对应的姿态描述信息;以及根据至少一个目标对象各自对应的姿态描述信息以及标签来调整第一网络的参数和第二网络的参数。
[0006]根据本公开的另一方面,提供了一种姿态描述信息生成装置,包括:第一提取模块,用于对目标图像进行特征提取,得到目标图像的特征图,目标图像包括至少一个目标对象;第一确定模块,用于根据特征图,确定目标图像中至少一个目标对象各自对应的位置信息;第二提取模块,用于根据至少一个目标对象各自对应的位置信息,从特征图中提取出与至少一个目标对象各自对应的形态特征;以及第一生成模块,用于根据形态特征,生成与至少一个目标对象各自对应的姿态描述信息。
[0007]根据本公开的另一方面,提供了一种姿态描述信息生成模型的训练装置,姿态描述信息生成模型包括第一网络和第二网络,所述装置包括:第三提取模块,用于使用第一网络对样本图像进行特征提取,得到样本图像的特征图,样本图像包括至少一个目标对象以
及至少一个目标对象各自对应的标签;第三确定模块,用于根据特征图,确定样本图像中至少一个目标对象各自对应的位置信息;第四提取模块,用于根据至少一个目标对象各自对应的位置信息,从特征图中提取出与至少一个目标对象各自对应的形态特征;第二生成模块,用于使用第二网络根据形态特征,生成与至少一个目标对象各自对应的姿态描述信息;以及调整模块,用于根据至少一个目标对象各自对应的姿态描述信息以及标签来调整第一网络的参数和第二网络的参数。
[0008]根据本公开的另一方面,提供了一种电子设备,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行根据本公开提供的方法。
[0009]根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,该计算机指令用于使计算机执行根据本公开提供的方法。
[0010]根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据本公开提供的方法。
[0011]应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0012]附图用于更好地理解本方案,不构成对本公开的限定。其中:
[0013]图1是根据本公开实施例的可以应用姿态描述信息生成方法和装置、姿态描述信息生成模型的训练方法和装置的示例性系统架构示意图;
[0014]图2是根据本公开实施例的姿态描述信息生成方法的流程图;
[0015]图3是根据本公开实施例的姿态描述信息生成方法的示意图;
[0016]图4是根据本公开实施例的姿态描述信息生成模型的训练方法的流程图;
[0017]图5是根据本公开实施例的姿态描述信息生成模型的训练方法的示意图;
[0018]图6是根据本公开实施例的姿态描述信息生成装置的框图;
[0019]图7是根据本公开实施例的姿态描述信息生成模型的训练装置的框图;以及
[0020]图8是用来实现本公开实施例的姿态描述信息生成方法和姿态描述信息生成模型的训练方法的电子设备的框图。
具体实施方式
[0021]以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
[0022]在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
[0023]在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为具有与本说明书的上下文相一致的
含义,而不应以理想化或过于刻板的方式来解释。
[0024]在使用类似于“A、B和C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
[0025]随着人工智能技术的发展,人体重建技术被广泛地应用于视频制作、电子游戏和虚拟数字人等领域,以提高用户的沉浸式体验。其中,姿态描述信息是人体重建技术的基础,因此,如何更好地获取姿态描述信息对于人体重建过程具有重要意义。
[0026]相关技术在基于单张图像,获取图像中目标对象的姿态描述信息过程中,需要先检测出图像中每个目标对象的位置信息,然后将每个目标对象所在部分从图像中截取出来,再根据截取出的目标对象部分,得到各个目标对象的姿态描述信息。
[0027]但是,在截取目标对象时,会导致目标对象在图像中的本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种姿态描述信息生成方法,包括:对目标图像进行特征提取,得到所述目标图像的特征图,所述目标图像包括至少一个目标对象;根据所述特征图,确定所述目标图像中至少一个目标对象各自对应的位置信息;根据所述至少一个目标对象各自对应的位置信息,从所述特征图中提取出与所述至少一个目标对象各自对应的形态特征;以及根据所述形态特征,生成与所述至少一个目标对象各自对应的姿态描述信息。2.根据权利要求1所述的方法,其中,所述根据所述特征图,确定所述目标图像中至少一个目标对象各自对应的位置信息包括:根据所述特征图,得到与所述目标图像对应的高斯热图;根据所述高斯热图,确定所述目标图像中至少一个目标对象各自的中心点定位信息;以及将所述至少一个目标对象各自的中心点定位信息,确定为所述至少一个目标对象各自对应的位置信息。3.根据权利要求1或2所述的方法,其中,所述根据所述形态特征,生成与所述至少一个目标对象各自对应的姿态描述信息包括:针对每个目标对象,根据所述目标对象对应的形态特征,回归得到与所述目标对象对应的形态参数;根据所述目标对象对应的形态参数,确定与所述目标对象对应的三维关键点信息;以及将所述三维关键点信息,确定为所述姿态描述信息。4.根据权利要求3所述的方法,其中,所述根据所述形态特征,生成与所述至少一个目标对象各自对应的姿态描述信息还包括:根据所述目标对象对应的三维关键点信息和相机参数,确定与所述三维关键点信息对应的二维关键点信息;其中,所述相机参数是根据所述形态特征来确定的;以及将所述三维关键点信息和所述二维关键点信息,确定为所述姿态描述信息。5.根据权利要求1至4中任一项所述的方法,还包括:根据与所述至少一个目标对象各自对应的姿态描述信息,对所述目标图像中的目标对象进行姿态识别。6.根据权利要求1至5中任一项所述的方法,还包括:根据与所述至少一个目标对象各自对应的姿态描述信息,确定针对所述目标对象的三维对象模型。7.一种姿态描述信息生成模型的训练方法,所述姿态描述信息生成模型包括第一网络和第二网络,所述方法包括:使用所述第一网络对样本图像进行特征提取,得到所述样本图像的特征图,所述样本图像包括至少一个目标对象以及所述至少一个目标对象各自对应的标签;根据所述特征图,确定所述样本图像中至少一个目标对象各自对应的位置信息;根据所述至少一个目标对象各自对应的位置信息,从所述特征图中提取出与所述至少一个目标对象各自对应的形态特征;
使用所述第二网络根据所述形态特征,生成与所述至少一个目标对象各自对应的姿态描述信息;以及根据所述至少一个目标对象各自对应的姿态描述信息以及所述标签来调整所述第一网络的参数和所述第二网络的参数。8.根据权利要求7所述的方法,其中,所述根据所述特征图,确定所述样本图像中至少一个目标对象各自对应的位置信息包括:根据所述特征图,得到与所述样本图像对应的高斯热图;根据所述高斯热图,确定所述样本图像中至少一个目标对象各自的中心点定位信息;以及将所述至少一个目标对象各自的中心点定位信息,确定为所述至少一个目标对象各自对应的位置信息。9.根据权利要求7或8所述的方法,其中,所述使用所述第二网络根据所述形态特征,生成与所述至少一个目标对象各自对应的姿态描述信息包括:针对每个目标对象,根据所述目标对象对应的形态特征,回归得到与所述目标对象对应的形态参数;使用所述第二网络根据所述目标对象对应的形态参数,确定与所述目标对象对应的三维关键点信息;以及将所述三维关键点信息,确定为所述姿态描述信息。10.根据权利要求9所述的方法,其中,所述使用所述第二网络根据所述形态特征,生成与所述至少一个目标对象各自对应的姿态描述信息还包括:根据所述目标对象对应的三维关键点信息和相机参数,确定与所述三维关键点信息对应的二维关键点信息;其中,所述相机参数是根据所述形态特征来确定的;以及将所述三维关键点信息和所述二维关键点信息,确定为所述姿态描述信息。11.根据权利要求10所述的方法,其中,所述根据所述至少一个目标对象各自对应的姿态描述信息以及所述标签来调整所述第一网络的参数和所述第二网络的参数包括:根据所述姿态描述信息和所述标签,确定样本损失;以及根据所述样本损失来调整所述第一网络的参数和所述第二网络的参数。12.根据权利要求11所述的方法,其中,所述标签包括二维关键点信息标签;所述根据所述姿态描述信息和所述标签,确定样本损失包括:根据所述二维关键点信息标签和所述二维关键点信息,确定第一姿态描述信息损失;以及将所述第一姿态描述信息损失,确定为所述样本损失。13.根据权利要求12所述的方法,其中,所述标签还包括三维关键点信息标签;所述根据所述姿态描述信息和所述标签,确定样本损失还包括:根据所述三维关键点信息标签和所述三维关键点信息,确定第二姿态描述信息损失;以及将所述第一姿态描述信息损失和所述第二姿态描述信息损失,确定为所述样本损失。14.根据权利要求13所述的方法,其中,所述标签还包括形态参数标签;所述根据所述姿态描述信息和所述标签,确定样本损失还包括:
根据所述形态参数和所述形态参数标签,确定形态参数损失;以及将所述形态参数损失、所述第一姿态描述信息损失和所述第二姿态描述信息损失,确定为所述样本损失。15.根据权利要求7至14中任一项所述的方法,还包括:在使用所述第一网络对样本图像进行特征提取之前,对所述样本图像进行预处理;其中,所述预处理包括以下至少一项:缩放、旋转、翻转和色彩抖动。16.一种姿态描述信息生成装置,包括:第一提取模块,用于对目标图像进行特征提取,得到所述目标图像的特征图,所述目标图像包括至少一个目标对象;第一确定模块,用于根据所述特征图,确定所述目标图像中至少一个目标对象各自对应的位置信息;第二提取模块,用于根据所述至少一个目标对象各自对应的位置信息,从所述特征图中提取出与所述至少一个目...

【专利技术属性】
技术研发人员:杨黔生
申请(专利权)人:北京百度网讯科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1