图像修复方法、装置及计算机可读存储介质制造方法及图纸

本发明专利技术公开了一种图像修复方法、装置及计算机可读存储介质，所述方法包括：基于图像相似度确定受损图像对应的对比图像；确定受损图像中的受损区域，并获取对比图像中，受损区域对应的图像特征；基于图像特征对受损图像的受损区域进行图像修复，生成修复图像；在修复图像与受损图像之间的峰值信噪比指标与结构相似性指标不满足预设条件时，将修复图像作为受损图像，并返回执行基于图像相似度确定受损图像对应的对比图像的步骤。通过利用对比图像中与受损区域对应的图像特征对受损区域进行修复，解决了受损区域面积较大时无法从未受损区域获取有效图像特征对图像进行修复，导致修复效果低下的问题。效果低下的问题。效果低下的问题。

【技术实现步骤摘要】
图像修复方法、装置及计算机可读存储介质


[0001]本专利技术涉及图像修复处理
，尤其涉及图像修复方法、装置及计算机可读存储介质。

技术介绍

[0002]图像修复是一种旨在恢复不完整图像中像素特征的受损部分，然后重建并生成与原始图像的高质量和深度语义近似的技术。目前的图像修补方法通常为获取受损区域的周围像素点，基于周围像素点对受损区域的像素点进行填充，即通过利用图像中的已知区域的像素点对受损区域的像素点进行填充。此方法在处理规则结构图像、小面积修补和低分辨率图像修补方面可以获得不错的修补效果，但在大面积受损的情况下，基于受损区域的面积过大，而已知区域的面积较少，导致无法从受损区域图像的周围区域图像获取用于修复受损区域获取足够的有效信息，导致修复效果低下。
[0003]上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

[0004]本专利技术的主要目的在于提供一种图像修复方法、装置及计算机可读存储介质，旨在解决受损区域面积较大时，无法从待修复图像的面积较小的未受损区域获取有效图像特征，导致修复效果低下的问题。
[0005]为实现上述目的，本专利技术提供一种图像修复方法，所述图像修复方法包括以下步骤：
[0006]基于图像相似度确定受损图像对应的对比图像；
[0007]确定所述受损图像中的受损区域，并获取所述对比图像中，所述受损区域对应的图像特征；
[0008]基于所述图像特征对所述受损图像的受损区域进行图像修复，生成修复图像；
[0009]在所述修复图像与所述受损图像之间的峰值信噪比指标与结构相似性指标不满足预设条件时，将所述修复图像作为所述受损图像，并返回执行所述基于图像相似度确定受损图像对应的对比图像的步骤；
[0010]在所述修复图像与所述受损图像之间的峰值信噪比指标与结构相似性指标满足预设条件时，结束图像修复进程，并输出所述修复图像。
[0011]可选地，所述基于图像相似度确定受损图像对应的对比图像的步骤包括：
[0012]获取所述受损图像的第一图像特征；
[0013]将所述第一图像特征与数据集中的各个预设图像的第二图像特征进行比对，以确定所述受损图像与所述预设图像之间的特征距离；
[0014]根据所述特征距离将特征距离小于预设特征距离的预设图像作为所述对比图像，所述特征距离用于表征所述受损图像与所述预设图像之间的相似度。
[0015]可选地，所述获取所述受损图像的第一图像特征的步骤包括：
[0016]将所述受损图像输入至特征提取模块，以获取所述第一图像特征；
[0017]其中，所述特征提取模块包括至少两层Inception卷积模块，所述Inception卷积模块包括至少两个卷积核大小不同的空洞卷积层、最大池化层以及特征合并层。
[0018]可选地，所述获取所述对比图像中，所述受损区域对应的图像特征的步骤包括：
[0019]基于预设边缘检测算法获取所述受损图像的第一边缘图以及所述对比图像的第二边缘图；
[0020]根据所述第一边缘图和所述第二边缘图获取融合特征；
[0021]将所述融合特征作为所述对比图像中，所述受损区域对应的图像特征，所述图像特征包括所述对比图像中与所述受损区域对应的结构信息。
[0022]可选地，所述基于预设边缘检测算法获取所述受损图像的第一边缘图以及所述对比图像的第二边缘图的步骤包括：
[0023]基于预设边缘检测算法获取所述受损图像的第一子边缘图以及第二子边缘图，根据第一子边缘图以及第二子边缘图确定所述第一边缘图；
[0024]基于预设边缘检测算法获取所述对比图像的第三子边缘图以及第三子边缘图，根据第三子边缘图以及第四子边缘图确定所述第二边缘图；
[0025]其中，所述预设边缘检测算法包括Marr
‑
Hildreth边缘检测算法和Canny边缘检测算法。
[0026]可选地，所述基于所述图像特征对所述受损图像的受损区域进行图像修复，生成修复图像的步骤包括：
[0027]根据所述图像特征获取所述对比图像中与所述受损区域对应的结构信息；
[0028]将所述结构信息填充至所述受损图像中的受损区域中，生成粗修复图像；
[0029]获取所述受损图像的未受损区域的其它图像特征，所述其它图像特征包括纹理特征；
[0030]基于所述其它图像特征对所述粗修复图像中的受损区域进行图像修复，生成所述修复图像。
[0031]可选地，所述基于图像相似度确定受损图像对应的对比图像的步骤包括：
[0032]根据针对所述受损图像的输入指令，生成所述受损图像的受损区域以及未受损区域；
[0033]根据所述未受损图像的其它图像特征执行基于图像相似度确定受损图像对应的对比图像的步骤。
[0034]为实现上述目的，本专利技术提供一种图像修复装置，所述图像修复装置包括：
[0035]查询网络，用于基于图像相似度确定受损图像对应的对比图像；
[0036]图像修复模型，用于确定所述受损图像中的受损区域，并获取所述对比图像中，所述受损区域对应的图像特征，基于所述图像特征对所述受损图像的受损区域进行图像修复，生成修复图像；
[0037]所述修复结果判别模块，用于判断修复图像与所述受损图像之间的峰值信噪比指标与结构相似性指标是否满足预设条件，其中，在所述修复图像与所述受损图像之间的峰值信噪比指标与结构相似性指标不满足预设条件时，将所述修复图像作为所述受损图像。
[0038]可选地，所述图像修复装置还包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像修复程序，所述图像修复程序被所述处理器执行时实现如上所述的图像修复方法的步骤。
[0039]为实现上述目的，本专利技术提供一种计算机可读存储介质，所述计算机可读存储介质上存储有图像修复程序，所述图像修复程序被处理器执行时实现如上所述的图像修复方法的步骤。
[0040]本专利技术实施例提出的一种图像修复方法、装置及计算机可读存储介质，所述方法包括基于图像相似度确定受损图像对应的对比图像；确定所述受损图像中的受损区域，并获取所述对比图像中，所述受损区域对应的图像特征；基于所述图像特征对所述受损图像的受损区域进行图像修复，生成修复图像；在所述修复图像与所述受损图像之间的峰值信噪比指标与结构相似性指标不满足预设条件时，将所述修复图像作为所述受损图像，并返回执行所述基于图像相似度确定受损图像对应的对比图像的步骤；在所述修复图像与所述受损图像之间的峰值信噪比指标与结构相似性指标满足预设条件时，结束图像修复进程，并输出所述修复图像。本专利技术实施例通过基于图像相似度获取与所述受损图像相似的对比图像，并通过获取所述对比图像中与所述受损图像的受损区域对应的图像特征，基于所述图像特征对所述受损图像的受损图像进行修复，基于利用相似图像的图像特征对受损图像进行修复，提高了所述图像特征与所述受损区本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像修复方法，其特征在于，所述图像修复方法包括以下步骤：基于图像相似度确定受损图像对应的对比图像；确定所述受损图像中的受损区域，并获取所述对比图像中，所述受损区域对应的图像特征；基于所述图像特征对所述受损图像的受损区域进行图像修复，生成修复图像；在所述修复图像与所述受损图像之间的峰值信噪比指标与结构相似性指标不满足预设条件时，将所述修复图像作为所述受损图像，并返回执行所述基于图像相似度确定受损图像对应的对比图像的步骤；在所述修复图像与所述受损图像之间的峰值信噪比指标与结构相似性指标满足预设条件时，结束图像修复进程，并输出所述修复图像。2.如权利要求1所述的图像修复方法，其特征在于，所述基于图像相似度确定受损图像对应的对比图像的步骤包括：获取所述受损图像的第一图像特征；将所述第一图像特征与数据集中的各个预设图像的第二图像特征进行比对，以确定所述受损图像与所述预设图像之间的特征距离；根据所述特征距离将特征距离小于预设特征距离的预设图像作为所述对比图像，所述特征距离用于表征所述受损图像与所述预设图像之间的相似度。3.如权利要求2所述的图像修复方法，其特征在于，所述获取所述受损图像的第一图像特征的步骤包括：将所述受损图像输入至特征提取模块，以获取所述第一图像特征；其中，所述特征提取模块包括至少两层Inception卷积模块，所述Inception卷积模块包括至少两个卷积核大小不同的空洞卷积层、最大池化层以及特征合并层。4.如权利要求1所述的图像修复方法，其特征在于，所述获取所述对比图像中，所述受损区域对应的图像特征的步骤包括：基于预设边缘检测算法获取所述受损图像的第一边缘图以及所述对比图像的第二边缘图；根据所述第一边缘图和所述第二边缘图获取融合特征；将所述融合特征作为所述对比图像中，所述受损区域对应的图像特征，所述图像特征包括所述对比图像中与所述受损区域对应的结构信息。5.如权利要求4所述的图像修复方法，其特征在于，所述基于预设边缘检测算法获取所述受损图像的第一边缘图以及所述对比图像的第二边缘图的步骤包括：基于预设边缘检测算法获取所述受损图像的第一子边缘图以及第二子边缘图，根据第一子边缘图以及第二子边...

【专利技术属性】
技术研发人员：何志权，吴康星，
申请(专利权)人：深圳大学，
类型：发明
国别省市：