一种图像处理方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术实施例提供了一种图像处理方法、装置、电子设备及存储介质，方法包括：获取源图像中源人物的第一三维人脸信息及驱动视频的每帧目标图像中的目标人物的第二三维人脸信息，基于第一三维人脸信息包括的身份信息及每帧目标图像对应的第二三维人脸信息包括的表情信息和姿态信息，渲染处理得到初始人脸图像，基于源人物的人脸关键点和目标人物的人脸关键点确定目标光流信息，提取每帧初始人脸图像和源图像的图像特征，将源图像的图像特征按照目标光流信息进行变换，得到变换后的图像特征，基于变换后的图像特征与每帧初始人脸图像的图像特征共同确定目标视频。变换后的图像特征和每帧初始人脸图像的图像特征相互补充完善，改善人脸驱动效果。

【技术实现步骤摘要】
一种图像处理方法、装置、电子设备及存储介质
本专利技术涉及多媒体数据处理
，特别是涉及一种图像处理方法、装置、电子设备及存储介质。
技术介绍
人脸驱动技术是根据给定的一个源图像以及一个目标人物的驱动视频，生成人物为源图像中人物，表情和姿态与驱动视频中目标人物的表情和姿态相同的一段目标视频的技术，其可以应用到社交娱乐、视频压缩、在线会议等多种场景中。目前的人脸驱动方式是根据源图像A和驱动视频B中包括的各个图像的关键点，估计出光流信息，进而将源图像A按照估计出的光流信息做二维变换，得到人物为源图像A中人物a，表情和姿态与驱动视频B中目标人物b的表情和动作相同的目标视频。但是，由于源图像和驱动视频中的人物的表情和姿态可能相差较大，所以采用上述二维变换的方式得到目标视频中可能会出现人物扭曲变形、画面模糊的问题，人脸驱动效果不佳。
技术实现思路
本专利技术实施例的目的在于提供一种图像处理方法、装置、电子设备及存储介质，以提高人脸驱动效果。具体技术方案如下：第一方面，本专利技术实施例提供了一种图像处理方法，本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，所述方法包括：/n获取源图像中源人物的第一三维人脸信息以及驱动视频的每帧目标图像中的目标人物的第二三维人脸信息，其中，所述三维人脸信息至少包括身份信息、表情信息、姿态信息；/n基于所述第一三维人脸信息包括的身份信息以及每帧目标图像对应的所述第二三维人脸信息包括的表情信息和姿态信息，进行渲染处理得到每帧目标图像对应的初始人脸图像；/n基于所述源图像中源人物的人脸关键点和所述每帧目标图像中目标人物的人脸关键点确定从所述源图像到所述每帧目标图像的目标光流信息；/n分别提取每帧初始人脸图像以及所述源图像的图像特征，并将所述源图像的图像特征按照所述目标光流信息进行变换，...

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：
获取源图像中源人物的第一三维人脸信息以及驱动视频的每帧目标图像中的目标人物的第二三维人脸信息，其中，所述三维人脸信息至少包括身份信息、表情信息、姿态信息；
基于所述第一三维人脸信息包括的身份信息以及每帧目标图像对应的所述第二三维人脸信息包括的表情信息和姿态信息，进行渲染处理得到每帧目标图像对应的初始人脸图像；
基于所述源图像中源人物的人脸关键点和所述每帧目标图像中目标人物的人脸关键点确定从所述源图像到所述每帧目标图像的目标光流信息；
分别提取每帧初始人脸图像以及所述源图像的图像特征，并将所述源图像的图像特征按照所述目标光流信息进行变换，得到所述每帧目标图像对应的变换后的图像特征；
基于所述变换后的图像特征与所述每帧初始人脸图像的图像特征，确定目标视频。


2.根据权利要求1所述的方法，其特征在于，所述基于所述变换后的图像特征与每帧所述初始人脸图像的图像特征，确定目标视频的步骤，包括：
将所述每帧目标图像对应的变换后的图像特征与对应的初始人脸图像的图像特征进行特征拼接，得到该帧初始人脸图像对应的拼接后的图像特征；
将所述每帧初始人脸图像对应的拼接后的图像特征输入预设的图像生成器，以使所述图像生成器基于所述拼接后的图像特征生成具有所述源图像的背景和细节的目标视频。


3.根据权利要求1所述的方法，其特征在于，所述目标光流信息用于标识所述源图像相对于所述目标图像的运动趋势的变换矩阵；
所述将所述源图像的图像特征按照所述目标光流信息进行变换，得到所述每帧目标图像对应的变换后的图像特征的步骤，包括：
将所述源图像的图像特征与所述每帧目标图像对应的变换矩阵的乘积，确定为该帧目标图像对应的变换后的图像特征。


4.根据权利要求1所述的方法，其特征在于，所述基于所述源图像中源人物的人脸关键点和所述目标图像中目标人物的人脸关键点确定从所述源图像到所述每帧目标图像的目标光流信息的步骤，包括：
提取所述源图像中源人物的人脸关键点，作为第一人脸关键点；
提取所述每帧目标图像中目标人物的人脸关键点，作为第二人脸关键点；
基于所述第一人脸关键点以及所述每帧目标图像对应的第二人脸关键点分别与预设参考图像中预设关键点之间的映射关系，确定所述第一人脸关键点到该帧目标图像对应的第二人脸关键点的光流信息；
将所有关键点对应的光流信息进行叠加，得到从所述源图像到该帧目标图像的目标光流信息。


5.根据权利要求1-4任一项所述的方法，其特征在于，所述基于所述第一三维人脸信息包括的身份信息以及每帧目标图像对应的所述第二三维人脸信息包括的表情信息和姿态信息，进行渲染处理得到每帧目标图像对应的初始人脸图像的步骤，包括：
基于所述第一三维人脸信息包括的身份信息以及每帧目标图像对应的所述第二三维人脸信息包括的表情信息和姿态信息，调整标准三维可变形人脸模型的参数，得到每帧目标图像对应的三维人脸模型；
将所述每帧目标图像对应的三维人脸模型渲染成二维图像，得到所述每帧目标图像对应的初始人脸图像。


6.一种图像处理装置，其特征在于，所述装置包括：
获取模块，用于获取...

【专利技术属性】
技术研发人员：范音，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：北京;11