【技术实现步骤摘要】
本申请涉及人工智能技术，尤其涉及一种修复网络训练方法、图像处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品。
技术介绍
1、人工智能（artificial intelligence，ai）是计算机科学的一个综合技术，通过研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，例如自然语言处理技术以及机器学习/深度学习等几大方向，随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
2、对于对象脸部的部件修复任务具有较多应用场景，以部件是牙齿为例进行说明，牙齿修复有非常多的应用场景，可以用于牙齿美颜任务以及人像生成任务的后处理修复。在牙齿美颜场景中，对于牙齿有畸形，牙齿显黑，牙齿有裂缝，不够美观的时候，可以通过牙齿修复将用户的牙齿修正到整齐划一的程度。在人像生成任务中，牙齿容易有多层裂纹，偏模糊等问题，可以通过接入牙齿修复算法，改善人像生成的效果。相关技术中会利用图像分割定位牙齿区域，这种图像分割方式在视频场景下容易出现不稳定的现象，从而无法实现准确的修复。
技术实现思路
1、本申请实施例提供一种修复网络训练方法、图像处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品，能够提高第一修复网络修复图像的效率以及准确度。
2、本申请实施例的技术方案是这样实现的：
3、本申请实施例提供一种修复网络训练方法，所述方法包括：
4、对包括目标部件的
5、基于所述第一抠图样本对第一重建网络进行针对所述目标部件的重建任务的训练，得到经过训练的第一重建网络；
6、通过所述经过训练的第一重建网络对第二抠图样本进行重建处理，得到第一重建图像，并通过第一修复网络对包括所述目标部件的第二图像样本进行修复处理，得到第一修复图像，其中，所述第二抠图样本是对所述第二图像样本进行抠图处理得到的；
7、基于所述第一修复图像以及所述第一重建图像，确定对应所述第一修复网络的第一修复损失，并基于所述第一修复损失更新所述第一修复网络，得到经过训练的第一修复网络；
8、其中，所述经过训练的第一修复网络用于对包括所述目标部件的原始图像进行修复处理，得到对所述目标部件进行修复后的目标图像。
9、本申请实施例提供一种修复网络训练装置，包括：
10、抠图处理模块，用于对包括目标部件的第一图像样本进行抠图处理，得到抠除所述目标部件的第一抠图样本；
11、第一训练模块，用于基于所述第一抠图样本对第一重建网络进行针对所述目标部件的重建任务的训练，得到经过训练的第一重建网络；
12、图像修复模块，用于通过所述经过训练的第一重建网络对第二抠图样本进行重建处理，得到第一重建图像，并通过第一修复网络对包括所述目标部件的第二图像样本进行修复处理，得到第一修复图像，其中，所述第二抠图样本是对所述第二图像样本进行抠图处理得到的；
13、第二训练模块，用于基于所述第一修复图像以及所述第一重建图像，确定对应所述第一修复网络的第一修复损失，并基于所述第一修复损失更新所述第一修复网络，得到经过训练的第一修复网络，其中，所述经过训练的第一修复网络用于对包括所述目标部件的原始图像进行修复处理，得到对所述目标部件进行修复后的目标图像。
14、在上述方案中，所述第一训练模块，还用于对所述第一图像样本进行模糊处理，得到第一模糊样本；对所述第一抠图样本以及所述第一模糊样本进行拼接处理，得到第一拼接样本；基于所述第一拼接样本对第一重建网络进行针对所述目标部件的重建任务的训练，得到经过训练的第一重建网络。
15、在上述方案中，所述第一训练模块，还用于通过初始化的第一重建网络对所述第一拼接样本进行重建处理，得到对应所述第一拼接样本的第二重建图像；基于所述第一图像样本以及所述第二重建图像，确定第一重建损失；基于所述第一重建损失对所述初始化的第一重建网络进行更新，得到所述经过训练的第一重建网络。
16、在上述方案中，所述图像修复模块，还用于对所述第二图像样本进行模糊处理，得到第二模糊样本；对所述第二抠图样本以及所述第二模糊样本进行拼接处理，得到第二拼接样本；通过所述第一编码网络对所述第二拼接样本进行编码处理，得到第一编码结果，并通过所述第一解码网络对所述第一编码结果进行解码处理，得到所述第一重建图像。
17、在上述方案中，所述图像修复模块，还用于通过所述第一修复网络对所述第二图像样本进行修复处理，得到所述第二图像样本中对应所述目标部件的预测修复区域掩模以及对应所述第二图像样本的第二修复图像；基于所述第二图像样本中的预测修复区域掩模，对所述第二修复图像以及所述第二图像样本进行合成处理，得到所述第一修复图像。
18、在上述方案中，所述第二训练模块，还用于获取标签修复区域掩模，并基于所述第二图像样本中对应所述目标部件的预测修复区域掩模以及标签修复区域掩模，确定修复区域掩模损失；执行以下损失确定处理中至少之一：基于所述第一重建图像以及所述第一修复图像，确定整体重建损失；基于所述第一重建图像以及所述第一修复图像，确定图像特征级损失；基于所述第一重建图像、所述第一修复图像以及所述标签修复区域掩模，确定局部重建损失；基于所述第一重建图像以及所述第一修复图像，确定对象身份损失；基于所述第一修复图像，确定生成损失；基于所述整体重建损失、所述图像特征级损失、所述局部重建损失、所述对象身份损失、以及所述生成损失中至少之一，确定第一辅助损失；对所述第一辅助损失以及所述修复区域掩模损失进行融合处理，得到所述第一修复损失。
19、在上述方案中，所述第二训练模块，还用于获取所述第一重建图像中每个像素位置的第一像素值以及所述第二图像样本中每个所述像素位置的第二像素值；针对每个所述像素位置执行以下处理，确定所述像素位置的第一像素值与所述像素位置的第二像素值之间的第一绝对值；对每个所述像素位置的第一绝对值进行归一化处理，得到每个所述像素位置的第三像素值；基于每个所述像素位置上的第三像素值，生成所述标签修复区域掩模。
20、在上述方案中，所述第二训练模块，还用于获取所述预测修复区域掩模中每个像素位置的第一标记值以及所述标签修复区域掩模中每个像素位置的第二标记值；针对每个所述像素位置执行以下处理，确定所述像素位置的第一标记值与所述像素位置的第二标记值之间的第二绝对值；对多个所述像素位置的第二绝对值进行融合处理，得到所述修复区域掩模损失。
21、在上述方案中，所述第二训练模块，还用于获取所述第一重建图像中每个像素位置的第五像素值以及所述第一修复图像中每个所述像素位置的第六像素值；针对每个所述像素位置执行以下处理，确定所述像素位置的第五像素值与所述像素位置的第六像素值之间的第三绝对值；对多个所述像素位置的第三绝对值进行融合处理，得到所述整体重建损失本文档来自技高网...
【技术保护点】
1.一种修复网络训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述第一抠图样本对第一重建网络进行针对所述目标部件的重建任务的训练，得到经过训练的第一重建网络，包括：
3.根据权利要求2所述的方法，其特征在于，所述基于所述第一拼接样本对第一重建网络进行针对所述目标部件的重建任务的训练，得到经过训练的第一重建网络，包括：
4.根据权利要求1所述的方法，其特征在于，所述经过训练的第一重建网络包括第一编码网络以及第一解码网络，所述通过所述经过训练的第一重建网络对第二抠图样本进行重建处理，得到第一重建图像，包括：
5.根据权利要求1所述的方法，其特征在于，所述通过第一修复网络对包括所述目标部件的第二图像样本进行修复处理，得到第一修复图像，包括：
6.根据权利要求5所述的方法，其特征在于，所述基于所述第一修复图像以及所述第一重建图像，确定对应所述第一修复网络的第一修复损失，包括：
7.根据权利要求6所述的方法，其特征在于，所述获取标签修复区域掩模，包括：
8.根据权利
9.根据权利要求1所述的方法，其特征在于，所述方法还包括：
10.一种图像处理方法，其特征在于，所述方法包括：
11.根据权利要求10所述的方法，其特征在于，所述通过第一修复网络对所述原始图像进行修复处理，得到对所述目标部件进行修复后的目标图像，包括：
12.一种修复网络训练装置，其特征在于，所述装置包括：
13.一种图像处理装置，其特征在于，所述装置包括：
14.一种电子设备，其特征在于，所述电子设备包括：
15.一种计算机可读存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令被处理器执行时，实现权利要求1至9任一项所述的修复网络训练方法或实现权利要求10至11任一项所述的图像处理方法。
16.一种计算机程序产品，包括计算机可执行指令，其特征在于，所述计算机可执行指令被处理器执行时，实现权利要求1至9任一项所述的修复网络训练方法或实现权利要求10至11任一项所述的图像处理方法。
...【技术特征摘要】
1.一种修复网络训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述第一抠图样本对第一重建网络进行针对所述目标部件的重建任务的训练，得到经过训练的第一重建网络，包括：
3.根据权利要求2所述的方法，其特征在于，所述基于所述第一拼接样本对第一重建网络进行针对所述目标部件的重建任务的训练，得到经过训练的第一重建网络，包括：
4.根据权利要求1所述的方法，其特征在于，所述经过训练的第一重建网络包括第一编码网络以及第一解码网络，所述通过所述经过训练的第一重建网络对第二抠图样本进行重建处理，得到第一重建图像，包括：
5.根据权利要求1所述的方法，其特征在于，所述通过第一修复网络对包括所述目标部件的第二图像样本进行修复处理，得到第一修复图像，包括：
6.根据权利要求5所述的方法，其特征在于，所述基于所述第一修复图像以及所述第一重建图像，确定对应所述第一修复网络的第一修复损失，包括：
7.根据权利要求6所述的方法，其特征在于，所述获取标签修复区域掩模，包括：
8.根据权利要求6所述的方法，其特征在...
【专利技术属性】
技术研发人员：贺珂珂，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。