动作迁移模型的训练方法、动作迁移方法及电子设备技术

技术编号:40904101 阅读:21 留言:0更新日期:2024-04-18 14:35
本申请涉及图像处理领域,具体涉及一种动作迁移模型的训练方法、动作迁移方法及电子设备。该动作迁移模型的训练方法包括:获取训练视频文件中被驱动图像和驱动图像的关键点坐标组并分别重组为多个子坐标组,根据被驱动图像子坐标组与驱动图像子坐标组之间的变换系数,可以得到重建图像,再通过待训练动作迁移模型的损失函数计算损失值,从而根据损失值优化模型参数,得到目标动作迁移模型。这样,重组后的子坐标组可以表示单个手指指节的关键点,通过子坐标组的关键点变换,可以使模型学习到手指关节动作迁移特征,从而可以扩大动作迁移任务中的可迁移人体关节范围,实现手部动作迁移与合成的细节化,可以提高动作迁移中手部动作的图像质量。

【技术实现步骤摘要】

本申请涉及图像处理领域,尤其涉及一种动作迁移模型的训练方法、动作迁移方法及电子设备


技术介绍

1、动作迁移可以将目标视频中的人物动作迁移到被驱动视频中的人物身上,从而在保留被驱动视频中人物外观的基础上,使被驱动视频中的人物与目标视频中的人物保持同步的动作。

2、为实现动作迁移,可以通过采集包含若干动作的视频训练动作迁移模型。由于训练动作迁移模型的算法侧重于人物大肢体动作,动作迁移模型在细粒度的肢体动作迁移上存在动作变形、图像退化等问题。特别是在手语教学、手部动作展示等领域,动作迁移模型对手部细节动作、手部交互等动作的迁移效果较差。


技术实现思路

1、本申请实施例提供一种动作迁移模型的训练方法、动作迁移方法及电子设备,以解决动作迁移模型训练难度高、动作迁移效果差的问题。

2、第一方面,本申请实施例提供一种动作迁移模型的训练方法,包括:

3、获取训练视频文件;训练视频文件包括驱动图像和被驱动图像;

4、获取被驱动图像的第一关键点坐标组,并将第一关键点坐标组按照手指本文档来自技高网...

【技术保护点】

1.一种动作迁移模型的训练方法,其特征在于,包括:

2.根据权利要求1所述的训练方法,其特征在于,所述获取训练视频文件包括:

3.根据权利要求1所述的训练方法,其特征在于,所述获取所述第一子坐标组与所述第二子坐标组之间的变换系数包括:

4.根据权利要求3所述的训练方法,其特征在于,在根据所述权重系数将所述映射系数加权平均,得到变换系数之后,还包括:

5.根据权利要求1所述的训练方法,其特征在于,所述待训练动作迁移模型包括用于提取图像特征的卷积层,所述根据所述损失函数计算损失值包括:

6.根据权利要求1所述的训练方法,其特征在于,...

【技术特征摘要】

1.一种动作迁移模型的训练方法,其特征在于,包括:

2.根据权利要求1所述的训练方法,其特征在于,所述获取训练视频文件包括:

3.根据权利要求1所述的训练方法,其特征在于,所述获取所述第一子坐标组与所述第二子坐标组之间的变换系数包括:

4.根据权利要求3所述的训练方法,其特征在于,在根据所述权重系数将所述映射系数加权平均,得到变换系数之后,还包括:

5.根据权利要求1所述的训练方法,其特征在于,所述待训练动作迁移模型包括用于提取图像特征的卷积层,所述根据所述损失函数计算损失值包括:...

【专利技术属性】
技术研发人员:司马华鹏林枭
申请(专利权)人:南京硅基智能科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1