本公开关于一种图像处理方法、装置、电子设备及存储介质，该方法包括：获取目标面部图像和预设表情系数；基于预设表情系数，对目标面部图像中的目标区域进行三维重建处理，得到目标局部重建系数；对目标面部图像进行区域去除处理，得到目标待填补图像；将目标局部重建系数和目标待填补图像输入面部更新网络进行面部更新处理，得到目标面部图像对应的面部更新图像。利用本公开实施例提供的技术方案可以灵活高效地得到目标面部图像对应的面部更新图像，且效果自然。且效果自然。且效果自然。
【技术实现步骤摘要】
一种图像处理方法、装置、电子设备及存储介质
[0001]本公开涉及图像处理
，尤其涉及一种图像处理方法、装置、电子设备及存储介质。
技术介绍
[0002]随着视频和图像处理技术的发展，利用虚拟主播进行直播的方式一方面能够大大节省主播人力，另一方面能够为观众带来更加丰富多彩的观看体验，但如何得到需要的主播面部图像(例如与文字、语音或指定表情匹配的主播面部图像)成为该技术中的难题。
[0003]相关技术中，常常会利用参考图片和输入的语音来预测适配该输入语音的人脸图片，需要学习较多的人脸姿态，模型训练需要的数据量大，训练和预测较为困难，效率低，且生成的人脸与背景难以融合，或是生成的面部效果不自然。
技术实现思路
[0004]本公开提供一种图像处理方法、装置、电子设备及存储介质，以至少解决相关技术中生成面部更新图像效率低和效果不自然的问题。本公开的技术方案如下：
[0005]根据本公开实施例的第一方面，提供一种图像处理方法，包括：
[0006]获取目标面部图像和预设表情系数；
[0007]基于所述预设表情系数，对所述目标面部图像中的目标区域进行三维重建处理，得到目标局部重建系数；
[0008]对所述目标面部图像进行区域去除处理，得到目标待填补图像；
[0009]将所述目标局部重建系数和所述目标待填补图像输入面部更新网络进行面部更新处理，得到所述目标面部图像对应的面部更新图像。
[0010]在一个示例性的实施方式中，所述面部更新网络包括局部图像生成网络和图像合成网络，所述将所述目标局部重建系数和所述目标待填补图像输入面部更新网络进行面部更新处理，得到所述目标面部图像对应的面部更新图像包括：
[0011]将所述目标局部重建系数和所述目标待填补图像输入所述局部图像生成网络进行局部图像生成，得到与所述目标区域对应的目标局部图像；
[0012]将所述目标局部图像和所述目标待填补图像输入所述图像合成网络进行合成处理，得到所述面部更新图像。
[0013]在一个示例性的实施方式中，所述局部图像生成网络包括局部建模层、纹理贴图生成层、纹理渲染层和纹理解码层，所述将所述目标局部重建系数和所述目标待填补图像输入所述局部图像生成网络进行局部图像生成，得到与所述目标区域对应的目标局部图像包括：
[0014]将所述目标局部重建系数输入所述局部建模层进行局部建模，得到所述目标区域对应的目标三维局部模型；
[0015]将所述目标局部重建系数中的表情系数输入所述纹理贴图生成层进行系数处理，
得到多通道纹理贴图；
[0016]将所述多通道纹理贴图和所述目标三维局部模型输入所述纹理渲染层进行纹理渲染，得到与所述目标区域对应的多通道局部图像；
[0017]将所述多通道局部图像和所述目标待填补图像输入所述纹理解码层进行解码处理，得到所述目标局部图像。
[0018]在一个示例性的实施方式中，所述基于所述预设表情系数，对所述目标面部图像中的目标区域进行三维重建处理，得到目标局部重建系数包括：
[0019]对所述目标面部图像中的目标区域进行局部三维重建，得到初始重建系数；
[0020]根据所述预设表情系数更新所述初始重建系数，得到所述目标局部重建系数。
[0021]在一个示例性的实施方式中，所述获取目标面部图像和预设表情系数包括：
[0022]获取目标原始视频；
[0023]将所述目标原始视频中的每个帧图像作为所述目标面部图像；
[0024]获取所述每个帧图像对应的表情系数；
[0025]将所述对应的表情系数作为所述预设表情系数。
[0026]在一个示例性的实施方式中，所述对所述目标面部图像进行区域去除处理，得到目标待填补图像包括：
[0027]获取所述目标区域在所述目标面部图像中的位置信息；
[0028]基于所述目标区域的位置信息对所述目标面部图像进行区域去除处理，得到目标待填补图像。
[0029]在一个示例性的实施方式中，所述方法还包括：
[0030]获取多个样本面部图像；
[0031]对每个样本面部图像中的目标区域进行局部重建处理，得到所述每个样本面部图像对应的样本局部重建系数；
[0032]对所述每个样本面部图像进行区域去除处理，得到所述每个样本面部图像对应的样本待填补图像；
[0033]将所述每个样本面部图像对应的样本局部重建系数，以及所述每个样本面部图像对应的样本待填补图像输入预设神经网络进行面部更新处理，得到所述每个样本面部图像对应的样本面部更新图像；
[0034]基于所述每个样本面部图像和对应的样本面部更新图像确定训练损失数据；
[0035]基于所述训练损失数据对所述预设神经网络进行训练，得到所述面部更新网络。
[0036]在一个示例性的实施方式中，所述对每个样本面部图像中的目标区域进行局部重建处理，得到所述每个样本面部图像对应的样本局部重建系数包括：
[0037]对每个样本面部图像中的目标区域进行局部三维重建，得到所述每个样本面部图像对应的初始重建系数；
[0038]确定所述每个样本面部图像对应的初始重建系数中的待调整系数，并对所述待调整系数进行预设范围内的数值调整，得到所述每个样本面部图像对应的样本局部重建系数。
[0039]根据本公开实施例的第二方面，提供一种图像处理装置，包括：
[0040]数据获取模块，被配置为执行获取目标面部图像和预设表情系数；
[0041]重建处理模块，被配置为执行基于所述预设表情系数，对所述目标面部图像中的目标区域进行三维重建处理，得到目标局部重建系数；
[0042]区域去除处理模块，被配置为执行对所述目标面部图像进行区域去除处理，得到目标待填补图像；
[0043]面部更新模块，被配置为执行将所述目标局部重建系数和所述目标待填补图像输入面部更新网络进行面部更新处理，得到所述目标面部图像对应的面部更新图像。
[0044]在一个示例性的实施方式中，所述面部更新网络包括局部图像生成网络和图像合成网络；所述面部更新模块包括：
[0045]局部图像生成单元，被配置为执行将所述目标局部重建系数和所述目标待填补图像输入所述局部图像生成网络进行局部图像生成，得到与所述目标区域对应的目标局部图像；
[0046]图像合成单元，被配置为执行将所述目标局部图像和所述目标待填补图像输入所述图像合成网络进行合成处理，得到所述面部更新图像。
[0047]在一个示例性的实施方式中，所述局部图像生成网络包括局部建模层、纹理贴图生成层、纹理渲染层和纹理解码层，所述局部图像生成单元包括：
[0048]局部建模单元，被配置为执行将所述目标局部重建系数输入所述局部建模层进行局部建模，得到所述目标区域对应的目标三维局部模型；
[0049]系数处理单元，被配置为执行将所述目标局部重建系数中的表情系数输入所述纹理本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：获取目标面部图像和预设表情系数；基于所述预设表情系数，对所述目标面部图像中的目标区域进行三维重建处理，得到目标局部重建系数；对所述目标面部图像进行区域去除处理，得到目标待填补图像；将所述目标局部重建系数和所述目标待填补图像输入面部更新网络进行面部更新处理，得到所述目标面部图像对应的面部更新图像。2.根据权利要求1所述的方法，其特征在于，所述面部更新网络包括局部图像生成网络和图像合成网络，所述将所述目标局部重建系数和所述目标待填补图像输入面部更新网络进行面部更新处理，得到所述目标面部图像对应的面部更新图像包括：将所述目标局部重建系数和所述目标待填补图像输入所述局部图像生成网络进行局部图像生成，得到与所述目标区域对应的目标局部图像；将所述目标局部图像和所述目标待填补图像输入所述图像合成网络进行合成处理，得到所述面部更新图像。3.根据权利要求2所述的方法，其特征在于，所述局部图像生成网络包括局部建模层、纹理贴图生成层、纹理渲染层和纹理解码层，所述将所述目标局部重建系数和所述目标待填补图像输入所述局部图像生成网络进行局部图像生成，得到与所述目标区域对应的目标局部图像包括：将所述目标局部重建系数输入所述局部建模层进行局部建模，得到所述目标区域对应的目标三维局部模型；将所述目标局部重建系数中的表情系数输入所述纹理贴图生成层进行系数处理，得到多通道纹理贴图；将所述多通道纹理贴图和所述目标三维局部模型输入所述纹理渲染层进行纹理渲染，得到与所述目标区域对应的多通道局部图像；将所述多通道局部图像和所述目标待填补图像输入所述纹理解码层进行解码处理，得到所述目标局部图像。4.根据权利要求1所述的方法，其特征在于，所述基于所述预设表情系数，对所述目标面部图像中的目标区域进行三维重建处理，得到目标局部重建系数包括：对所述目标面部图像中的目标区域进行局部三维重建，得到初始重建系数；根据所述预设表情系数更新所述初始重建系数，得到所述目标局部重建系数。5.根据权利要求1所述的方法...
【专利技术属性】
技术研发人员：王鹏睿，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。