图像自动修复方法、系统、存储介质及电子设备技术方案

本申请提供一种图像自动修复方法、系统、存储介质及电子设备，所述图像自动修复方法包括：对原始图像进行处理，获取待修复图像；判断所述待修复图像的问题类型；对所述待修复图像进行显著性目标检测，以获取对应的掩码；判断所述待修复图像的掩码中数据值为1的个数是否大于掩码中数据总数的预设比值；若是，则为结构化问题；反之，为非结构化问题；根据所述问题类型自动选择对应的修复模型，并对所述待修复图像进行修复，以获取重建图像。本申请通过一种图像自动修复方法及系统，可以根据图像的问题类型自动选择对应的修复模型进行图像修复，避免了需要人工判断图像的问题类型以进行修复，大大提高了图像的修复效率，降低了人工成本。本。本。

【技术实现步骤摘要】
图像自动修复方法、系统、存储介质及电子设备


[0001]本申请涉及图像处理技术，涉及基于多种深度学习模型的图像修复，尤其是涉及一种图像自动修复方法、系统、存储介质及电子设备。

技术介绍

[0002]图像修复(Image Inpainting)指恢复图像损失的部分并且基于背景信息将它们重建，旨在恢复残缺图像中损坏部分的像素特征，在许多计算机视觉应用领域中发挥关键作用。
[0003]图像修复一般分为结构化问题和非结构化问题，结构化问题如折痕、斑点、缺块和人脸模糊等，非结构化问题如模糊、噪声、低分辨率等。
[0004]传统的图像处理方法往往只能针对特定的问题进行修复，而且效果也不尽如人意，比如，想要修复折痕，就得选择折痕模型来进行修复，模型无法判断是否应该修复折痕，需要人工干预。因此，需要一种全方位的图像处理方法，能够同时解决多种问题。

技术实现思路

[0005]本申请的目的在于提供一种图像自动修复方法、系统、存储介质及电子设备，用于解决现有技术中需要通过人工确定图像修复类型导致图像修复的效率低且人工成本较高的问题。
[0006]第一方面，本申请提供一种图像自动修复方法，所述图像自动修复方法包括：对原始图像进行预处理，获取待修复图像；判断所述待修复图像的问题类型；包括：对所述待修复图像进行显著性目标检测，以获取对应的掩码；判断所述待修复图像的掩码中数据值为1的个数是否大于掩码中数据总数的预设比值；若是，则所述待修复图像的问题类型为结构化问题；反之，所述待修复图像的问题类型为非结构化问题；根据所述问题类型自动选择对应的修复模型，并对所述待修复图像进行修复，以获取重建图像。
[0007]在第一方面的一种实现方式中，所述对原始图像进行预处理，获取待修复图像包括：对所述原始图像进行去模糊处理，获取去模糊图像；对所述去模糊图像进行人脸检测，获取所述待修复图像。
[0008]在第一方面的一种实现方式中，所述对所述原始图像进行去模糊处理，获取去模糊图像包括：获取所述原始图像的方差；判断所述原始图像的方差是否小于第一预设值；若所述原始图像的方差小于所述第一预设值，则将所述原始图像进行去模糊操作，以获取所述去模糊图像；若所述原始图像的方差不小于所述第一预设值，则所述原始图像即为所述去模糊图像。
[0009]在第一方面的一种实现方式中，所述对所述去模糊图像进行人脸检测，获取所述待修复图像包括：对所述去模糊图像进行人脸检测；若检测到人脸信息，则对所述去模糊图像进行人脸增强，并将所述去模糊图像的背景与增强后的人脸进行融合，以获取所述待修复图像；若未检测到人脸信息，则所述去模糊图像即为所述待修复图像。
[0010]在第一方面的一种实现方式中，所述根据所述问题类型自动选择对应的修复模型，并对所述待修复图像进行修复，以获取重建图像包括：当所述待修复图像的问题类型为结构化类型时，将所述待修复图像和与之对应的掩码共同输入AOT
‑
GAN模型进行图像恢复，以获取重建图像；当所述待修复图像的问题类型为非结构化问题时，将所述待修复图像输入NAFNet模型进行图像恢复，以获取重建图像。
[0011]第二方面，本申请提供一种图像自动修复系统，所述图像自动修复系统包括：预处理模块，用于对原始图像进行预处理，获取待修复图像；判断模块，用于判断所述待修复图像的问题类型；包括：对所述待修复图像进行显著性目标检测，以获取对应的掩码；判断所述待修复图像的掩码中数据值为1的个数是否大于掩码中数据总数的预设比值；若是，则所述待修复图像的问题类型为结构化问题；反之，所述待修复图像的问题类型为非结构化问题；图像修复模块，用于根据所述问题类型自动选择对应的修复模型，并对所述待修复图像进行修复，以获取重建图像。
[0012]在第二方面的一种实现方式中，所述预处理模块包括：第一预处理模块和第二预处理模块；所述第一预处理模块用于对所述原始图像进行去模糊处理，获取去模糊图像；所述第二预处理模块用于对所述去模糊图像进行人脸修复，获取所述待修复图像。
[0013]第三方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被电子设备执行时实现本申请第一方面任一项所述的图像自动修复方法。
[0014]第四方面，本申请提供一种电子设备，包括：处理器和存储器；所述存储器用于存储计算机程序；所述处理器用于执行所述存储器存储的计算机程序，以使所述电子设备执行本申请第一方面任一项所述的图像自动修复方法。
[0015]如上所述，本申请所述的图像自动修复方法、系统、存储介质及电子设备，具有以下有益效果：本申请通过一种图像自动修复方法及系统，可以根据图像的问题类型自动选择对应的修复模型进行图像修复，避免了需要人工判断图像的问题类型以进行修复，大大提高了图像的修复效率，降低了人工成本。
附图说明
[0016]图1显示为本申请的电子设备于一实施例中的场景示意图。
[0017]图2显示为本申请实施例所述的图像自动修复方法的流程示意图。
[0018]图3显示为本申请实施例所述的图像自动修复方法的另一流程示意图。
[0019]图4显示为本申请实施例所述的图像自动修复系统的结构示意图。
[0020]图5显示为本申请实施例所述的电子设备的结构示意图。
[0021]元件标号说明11手机12平板电脑13笔记本电脑100图像自动修复系统10预处理模块101第一预处理模块
102第二预处理模块20判断模块30图像修复模块51处理单元52存储器521随机存取存储器522高速缓存存储器523存储系统524程序/实用工具5251程序模块53总线54输入/输出接口551网络适配器
具体实施方式
[0022]以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0023]需要说明的是，以下实施例中所提供的图示仅以示意方式说明本申请的基本构想，遂图式中仅显示与本申请中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
[0024]本申请以下实施例提供了图像自动修复方法，其可应用于如图1所示的电子设备。本申请中所述电子设备可以包括具备无线充电功能的手机11、平板电脑12、笔记本电脑13、可穿戴设备、车载设备、增强现实(Augmented Reality，AR)/虚拟现实(Virtual Reality，VR)设备、超级移动个人计算机(Ultra
‑
Mobile Personal Computer，UMPC)、上网本、个人数字助理(Personal Digit本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像自动修复方法，其特征在于，所述方法包括：对原始图像进行预处理，获取待修复图像；判断所述待修复图像的问题类型；包括：对所述待修复图像进行显著性目标检测，以获取对应的掩码；判断所述待修复图像的掩码中数据值为1的个数是否大于掩码中数据总数的预设比值；若是，则所述待修复图像的问题类型为结构化问题；反之，所述待修复图像的问题类型为非结构化问题；根据所述问题类型自动选择对应的修复模型，并对所述待修复图像进行修复，以获取重建图像。2.根据权利要求1所述的图像自动修复方法，其特征在于，所述对原始图像进行预处理，获取待修复图像包括：对所述原始图像进行去模糊处理，获取去模糊图像；对所述去模糊图像进行人脸检测，获取所述待修复图像。3.根据权利要求2所述的图像自动修复方法，其特征在于，所述对所述原始图像进行去模糊处理，获取去模糊图像包括：获取所述原始图像的方差；判断所述原始图像的方差是否小于第一预设值；若所述原始图像的方差小于所述第一预设值，则将所述原始图像进行去模糊操作，以获取所述去模糊图像；若所述原始图像的方差不小于所述第一预设值，则所述原始图像即为所述去模糊图像。4.根据权利要求2所述的图像自动修复方法，其特征在于，所述对所述去模糊图像进行人脸检测，获取所述待修复图像包括：对所述去模糊图像进行人脸检测；若检测到人脸，则对所述去模糊图像进行人脸增强，并将所述去模糊图像的背景与增强后的人脸进行融合，以获取所述待修复图像；若未检测到人脸，则所述去模糊图像即...

【专利技术属性】
技术研发人员：孔欧，
申请(专利权)人：上海蜜度信息技术有限公司，
类型：发明
国别省市：