人体关键点生成方法及装置、计算机可读存储介质、终端制造方法及图纸

技术编号:40324958 阅读:16 留言:0更新日期:2024-02-09 14:19
一种人体关键点生成方法及装置、计算机可读存储介质、终端,所述人体关键点包含人脸关键点和躯体关键点,所述方法包括:对目标音频进行第一特征提取得到第一特征序列,然后解码得到多组人脸关键点,第一特征序列至少包含目标音频的语义信息和韵律信息;对目标音频进行第二特征提取得到第二特征序列,第二特征序列包含目标音频的语义信息且不包含韵律信息;采用第二特征序列与预设的待匹配样本库中的至少一部分样本特征序列进行特征匹配,以确定相似度最高的样本特征序列;基于所述多组人脸关键点,以及相似度最高的样本特征序列对应的一组或多组躯体关键点进行拼接,得到多组人体关键点。上述方案有助于提高生成的人体关键点的准确性和稳定性。

【技术实现步骤摘要】

本专利技术涉及人体关键点生成,尤其涉及一种人体关键点生成方法及装置、计算机可读存储介质、终端


技术介绍

1、随着人工智能技术的发展,生成式人工智能(artificial intelligencegenerated content,aigc)已经成为当前最热门的研究课题。其中,元宇宙仍是非常重要的应用方向之一。随着算力和技术的发展,各种和元宇宙相关的增强现实(augmentedreality,ar)和虚拟现实(virtual reality,vr)设备被不断推出。而在这些设备中,人物形象都是不可缺少的一环。无论是虚拟人物形象还是真实人物形象都会涉及到大量生成任务。当前主流的人物形象生成技术通常包含两个任务,其一是基于驱动音频生成人体关键点;其二是基于已获得的人体关键点生成人物形象。研究如何准确地生成人体关键点,对于提高后续生成的人物形象的质量至关重要。

2、现有技术中,大多数人体关键点生成任务并没有针对人脸区域和非人脸区域(也称为躯体区域)进行区分,而是对这两大区域执行统一的生成任务。例如,直接将驱动音频输入训练好的模型,由模型统一输出包含人脸本文档来自技高网...

【技术保护点】

1.一种人体关键点生成方法,其特征在于,所述人体关键点包含人脸关键点和躯体关键点,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,在采用所述第二特征序列与预设的待匹配样本库中的至少一部分样本特征序列进行特征匹配之前,所述方法还包括:

3.根据权利要求2所述的方法,其特征在于,采用下述方式确定所述至少一部分样本特征序列:

4.根据权利要求2或3所述的方法,其特征在于,从与每个所述样本特征序列时序对齐的多帧样本图像中,选取一帧或多帧样本图像进行躯体关键点识别,包括:

5.根据权利要求1所述的方法,其特征在于,基于所述多组人脸关键点,以...

【技术特征摘要】

1.一种人体关键点生成方法,其特征在于,所述人体关键点包含人脸关键点和躯体关键点,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,在采用所述第二特征序列与预设的待匹配样本库中的至少一部分样本特征序列进行特征匹配之前,所述方法还包括:

3.根据权利要求2所述的方法,其特征在于,采用下述方式确定所述至少一部分样本特征序列:

4.根据权利要求2或3所述的方法,其特征在于,从与每个所述样本特征序列时序对齐的多帧样本图像中,选取一帧或多帧样本图像进行躯体关键点识别,包括:

5.根据权利要求1所述的方法,其特征在于,基于所述多组人脸关键点,以及所述相似度最高的样本特征序列对应的一组或多组躯体关键点进行拼接,包括:

6.根据权利要求1所述的方法,其特征在于,所述对目标音频进行第一特征...

【专利技术属性】
技术研发人员:虞钉钉徐清宣晓华王晓梅沈伟林沈旭立曹培
申请(专利权)人:华院计算技术上海股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1