人脸视频处理方法、装置、设备及存储介质制造方法及图纸

技术编号:41534843 阅读:26 留言:0更新日期:2024-06-03 23:12
本申请提供一种人脸视频处理方法、装置、设备及存储介质,涉及图像处理技术领域。该方法包括:获取待处理视频、驱动语音和参考人脸图像帧;获取待处理视频中各源人脸视频帧对应的源人脸特征、驱动语音对应的语音特征和参考人脸图像帧对应的参考人脸特征;其中,源人脸视频帧为将人脸中预设嘴部区域进行掩码后的人脸视频帧;根据各源人脸视频帧对应的源人脸特征、语音特征及参考人脸特征,计算形变人脸特征,计算形变人脸特征;根据形变人脸特征和源人脸特征,生成各源人脸视频帧对应的各目标人脸视频帧;根据各目标人脸视频帧和驱动语音,生成目标视频。相对于现有技术,避免了处理后的视频帧图像的分辨率较低的问题。

【技术实现步骤摘要】

本申请涉及数据处理,具体而言,涉及一种人脸视频处理方法、装置、设备及存储介质


技术介绍

1、面部视觉配音技术在实际中有广泛的应用,例如在电影工业中,通过面部视觉配音技术可以修改演员的口型,从而达到后期修改演员台词的目的。在新闻行业中,面部视觉配音技术可以修改主持人的口型,实现自动的语音播报的功能。

2、现有技术中在面部视觉配音技术的,一般是给定原始人脸视频和一段驱动语音,通过修改原始人脸视频中的人脸口型区域,使得原始视频中的人脸口型与驱动语音同步,得到最终的与驱动语音口型同步的结果视频。

3、但是这样的生成方式由于在视频帧处理的过程中对图像的信息压缩的较为厉害,因此得到的处理后的视频帧图像的分辨率较低。


技术实现思路

1、本申请的目的在于,针对上述现有技术中的不足,提供一种人脸视频处理方法、装置、设备及存储介质,以解决现有技术中处理后的视频帧图像的分辨率较低的问题。

2、为实现上述目的,本申请实施例采用的技术方案如下:

3、第一方面,本申请一实施例提供了一种人本文档来自技高网...

【技术保护点】

1.一种人脸视频处理方法,其特征在于,所述方法包括:

2.如权利要求1所述的方法,其特征在于,所述根据所述各源人脸视频帧对应的源人脸特征、所述语音特征及所述参考人脸特征,计算形变人脸特征,包括:

3.如权利要求2所述的方法,其特征在于,所述根据所述对齐人脸特征、所述参考人脸特征和所述语音特征,计算所述形变人脸特征,包括:

4.如权利要求3所述的方法,其特征在于,所述根据所述参考人脸特征和所述形变系数计算得到形变人脸特征,包括:

5.如权利要求3所述的方法,其特征在于,所述根据所述对齐人脸特征和所述语音特征,计算得到形变系数,包括:

<...

【技术特征摘要】

1.一种人脸视频处理方法,其特征在于,所述方法包括:

2.如权利要求1所述的方法,其特征在于,所述根据所述各源人脸视频帧对应的源人脸特征、所述语音特征及所述参考人脸特征,计算形变人脸特征,包括:

3.如权利要求2所述的方法,其特征在于,所述根据所述对齐人脸特征、所述参考人脸特征和所述语音特征,计算所述形变人脸特征,包括:

4.如权利要求3所述的方法,其特征在于,所述根据所述参考人脸特征和所述形变系数计算得到形变人脸特征,包括:

5.如权利要求3所述的方法,其特征在于,所述根据所述对齐人脸特征和所述语音特征,计算得到形变系数,包括:

6.如权利要求1所述的方法,其特征在于,所述根据所述各源人脸视频帧对应的源人脸特征、所述语音特征及所述参考人脸特征,计算形变人脸特征,包括:

7.如权利要求1所述的方法,其特征在于,所述获取所述源人脸视频帧对应的源人脸特征、所述驱动语音对应的语音特征和所述参考人脸图像帧对应的参考人脸特征,包括:<...

【专利技术属性】
技术研发人员:张智勐丁彧吕唐杰范长杰胡志鹏
申请(专利权)人:网易杭州网络有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1