一种人脸矫正模型的训练方法、姿态矫正方法及相关产品技术

技术编号:41334368 阅读:14 留言:0更新日期:2024-05-20 09:54
本申请公开一种人脸矫正模型的训练方法、姿态矫正方法及相关产品。通过待训练人脸矫正模型对第二人脸图像帧进行渲染,获得第二人脸图像帧对应的渲染图像,并对渲染图像和第二人脸图像帧进行结合,获得第二人脸图像帧对应的人脸矫正图像帧;由待训练人脸矫正模型对第一人脸图像帧和渲染图像进行处理,获得第一人脸图像帧对应的矫正图像预测帧。可见,本申请通过使待训练人脸矫正模型学习生成真实矫正图像帧的方式,来矫正人脸图像,从而使得训练成功的人脸矫正模型可以生成更加真实的矫正图像帧,避免了利用相关技术对图像进行变换及旋转的方式导致的矫正效果较差的问题,进而提高了图像矫正效果。

【技术实现步骤摘要】

本申请涉及人脸图像矫正,尤其涉及一种人脸矫正模型的训练方法、姿态矫正方法及相关产品


技术介绍

1、在现有的数字人场景中,通常需要拍摄人员在绿幕等背景下拍摄一些特定视频片段作为数字人驱动素材,往往该拍摄人员为非具有拍摄经验的主播,因此拍摄的数字人驱动素材可能存在人脸图像姿态不正这类问题,如视线侧偏朝向提词器导致的面部姿态不正向等问题。

2、目前在相关技术中通常采用简单的五官点位的矫正方式对人脸图像进行矫正,然而五官点位的矫正方式通常为对人脸图像进行图像变换及图像旋转的方式,来实现对于人脸图像的矫正,其矫正后的人脸图像易存在黑边,使得图像的美观度较差,从而导致图像矫正效果较差。

3、由此,如何提高图像矫正效果,已经成为当前领域亟待解决的技术问题。


技术实现思路

1、本申请实施例提供了一种人脸矫正模型的训练方法、姿态矫正方法及相关产品,旨在提高图像矫正效果。

2、本申请第一方面提供了一种人脸矫正模型的训练方法,包括:

3、获取人脸视频中的第一人脸图像帧和第二人脸图像本文档来自技高网...

【技术保护点】

1.一种人脸矫正模型的训练方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述待训练人脸矫正模型包括3D矫正模块,所述通过所述待训练人脸矫正模型对所述第二人脸图像帧进行渲染,获得所述第二人脸图像帧对应的渲染图像,包括:

3.根据权利要求2所述的方法,其特征在于,所述待训练人脸矫正模型还包括图像生成器,所述由所述待训练人脸矫正模型对所述第一人脸图像帧和所述渲染图像进行处理,获得所述第一人脸图像帧对应的矫正图像预测帧,包括:

4.根据权利要求3所述的方法,其特征在于,所述图像生成器包括第一编码器,所述由所述待训练人脸矫正模型中的图像生成...

【技术特征摘要】

1.一种人脸矫正模型的训练方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述待训练人脸矫正模型包括3d矫正模块,所述通过所述待训练人脸矫正模型对所述第二人脸图像帧进行渲染,获得所述第二人脸图像帧对应的渲染图像,包括:

3.根据权利要求2所述的方法,其特征在于,所述待训练人脸矫正模型还包括图像生成器,所述由所述待训练人脸矫正模型对所述第一人脸图像帧和所述渲染图像进行处理,获得所述第一人脸图像帧对应的矫正图像预测帧,包括:

4.根据权利要求3所述的方法,其特征在于,所述图像生成器包括第一编码器,所述由所述待训练人脸矫正模型中的图像生成器,根据所述渲染图像对所述第一人脸图像帧进行矫正,获得所述第一人脸图像帧中的面部矫正预测特征,包括:

5.根据权利要求4所述的方法,其特征在于,所述图像生成器还包括第二编码器,还包括:

6.根据权利要求1所述的方法,其特征在于,所述待训练人脸矫正模型还包括图像判别器,所述由所述待训练人脸矫正模型对所述人脸矫正图像帧和所述矫正图像预测帧进行判别,确定所述人脸矫正图像帧属于真实矫正图像帧的第一概率,以及确定所述矫正图像预测帧属...

【专利技术属性】
技术研发人员:张昕昳
申请(专利权)人:腾讯科技深圳有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1