一种迁移图像关键点的方法、装置、电子设备及存储介质制造方法及图纸

技术编号:35026404 阅读:41 留言:0更新日期:2022-09-24 22:58
本公开提供了一种迁移图像关键点的方法、装置、电子设备及存储介质,涉及人工智能技术领域,具体为计算机视觉和深度学习技术领域,可应用于人脸图像处理和人脸识别等场景。该方案为:获取源图像包含的第一对象的第一关键点以及目标图像包含的第二对象的第二关键点,其中,关键点包括以下至少一项:人脸表情关键点、人体动作关键点;确定第一关键点与第二关键点之间的中立关键点,其中,中立关键点表征以下至少一项:多个对象展现不同的人脸表情时相同的人脸特征、多个对象进行不同的肢体动作时相同的人体特征;基于中立关键点,将第一关键点迁移至第二关键点处。迁移至第二关键点处。迁移至第二关键点处。

【技术实现步骤摘要】
一种迁移图像关键点的方法、装置、电子设备及存储介质


[0001]本公开涉及人工智能
,具体为计算机视觉和深度学习
,可应用于人脸图像处理和人脸识别等场景,具体涉及一种迁移图像关键点的方法、装置、电子设备及存储介质。

技术介绍

[0002]人脸表情迁移技术或者人体动作迁移技术是通过某种映射关系,将输入的人脸表情映射到目标人脸上,以使目标人脸能够进行该人脸表情,或者将输入的人体动作映射到目标人体上,以使目标人体能够进行该人体动作。
[0003]现有技术中,通常通过关键点直接映射的方式来实现人脸表情或者人体动作的映射。然而,实际应用中,不同的人脸或者人体所对应的关键点之间存在差别,例如,方型脸进行微笑表情时的关键点,与圆型脸进行微笑表情时的关键点不同。因此,通过关键点直接映射的方式来实现人脸表情或者人体动作的映射,会使得映射后的人脸表情或者人体动作无法与目标对象完美融合,即目标对象无法真实、自然地进行源对象的人脸表情或者人体动作。

技术实现思路

[0004]本公开提供了一种迁移图像关键点的方法、装置、电子设备及存储本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种迁移图像关键点的方法,包括:获取源图像包含的第一对象的第一关键点以及目标图像包含的第二对象的第二关键点,其中,关键点包括以下至少一项:人脸表情关键点、人体动作关键点;确定所述第一关键点与所述第二关键点之间的中立关键点,其中,所述中立关键点表征以下至少一项:多个对象展现不同的人脸表情时相同的人脸特征、所述多个对象进行不同的肢体动作时相同的人体特征;基于所述中立关键点,将所述第一关键点迁移至所述第二关键点处。2.根据权利要求1所述的方法,其中,所述获取源图像包含的第一对象的第一关键点以及目标图像包含的第二对象的第二关键点,包括:从所述源图像和所述目标图像中分别提取所述第一关键点和所述第二关键点。3.根据权利要求1所述的方法,其中,所述确定所述第一关键点与所述第二关键点之间的中立关键点,包括:分别获取所述第一对象和所述第二对象展现不同的人脸表情时的第一人脸关键点信息和第二人脸关键点信息,其中,人脸关键点信息包括:所述人脸表情关键点的数量变化信息和所述人脸表情关键点的位置变化信息;对所述第一人脸关键点信息和所述第二人脸关键点信息进行特征聚合,得到人脸聚合特征;基于所述人脸聚合特征构建所述第一关键点与所述第二关键点之间的人脸聚合关键点,得到人脸中立关键点。4.根据权利要求1所述的方法,其中,所述确定所述第一关键点与所述第二关键点之间的中立关键点,包括:分别获取所述第一对象和所述第二对象进行不同的人体动作时的第一人体关键点信息和第二人体关键点信息,其中,人体关键点信息包括:所述人体动作关键点的数量变化信息以及所述人体动作关键点的位置变化信息;对所述第一人体关键点信息和所述第二人体关键点信息进行特征聚合,得到人体聚合特征;基于所述人体聚合特征构建所述第一关键点与所述第二关键点之间的人体聚合关键点,得到人体中立关键点。5.根据权利要求1所述的方法,其中,所述基于所述中立关键点,将所述第一关键点迁移至所述第二关键点处,包括:基于神经网络模型对所述中立关键点在所述第二对象上的位置信息进行预测,得到预测关键点,其中,所述预测关键点为对所述第二对象的关键点的移动轨迹进行预测所得到的关键点;确定所述预测关键点与所述第一关键点之间的映射关系;基于所述映射关系将所述第一关键点映射在所述预测关键点上。6.根据权利要求5所述的方法,所述方法还包括:获取所述多个对象对应的中立关键点样本和目标关键点样本,其中,所述目标关键点表征所述多个对象所对应的真实关键点;基于初始神经网络模型对所述中立关键点样本中的中立关键点进行预测,得到预测关
键点样本;基于所述预测关键点样本与所述目标关键点样本计算所述初始神经网络模型对应的损失函数的损失值;基于所述损失值对所述初始神经网络模型的模型参数进行调整,直至所述损失值达到最小,得到所述神经网络模型。7.一种迁移图像关键点的装置,包括:获取模块,用于获取源图像包含的第一对象的第一关键点以及目标图像包含的第二对象的第二关键点,其中,关键点包括以下至少一项:人脸表情关键点、人体动作关键点;确定模块,用于确定所述第一关键点与所述第二关键点之间的中立关键点,其中,所述中立关键点表征以下至少一项:多个对象展现不同的人脸...

【专利技术属性】
技术研发人员:何声一洪智滨
申请(专利权)人:北京百度网讯科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1