一种结合边缘信息和外观流操作的图像修复方法及系统技术方案

本公开提出了一种结合边缘信息和外观流操作的图像修复方法及系统，方法包括：对获取的待修复图像进行预处理，得到平滑图像；进行边缘检测和预测，得到目标边缘图；根据平滑图像和目标边缘图进行平滑结构重构，得到重构的平滑结构；根据重构的平滑结构提取待修复图像的各区域之间的相关性，基于外观流操作从相关区域进行特征采样以生成生动的纹理，并将包含生动纹理信息的特征填充至待修复图像受损区域，得到修复的完整图像。本公开通过从边缘到平滑结构再到整体的修复过程实现对破损图像的修复，结合边缘信息和外观流操作进行三阶段图像修复，能够生成合理的结构和真实生动的纹理，从而达到较好的修复效果。从而达到较好的修复效果。从而达到较好的修复效果。

【技术实现步骤摘要】
一种结合边缘信息和外观流操作的图像修复方法及系统


[0001]本公开涉及图像处理相关
，具体的说，是涉及一种结合边缘信息和外观流操作的图像修复方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本公开相关的
技术介绍
信息，并不必然构成在先技术。
[0003]图像修复是指利用图像已知区域的信息，通过一定的恢复标准，对图像的缺失区域进行填充，如使得已知区域与损坏区域具有相同的几何结构或统计特征，使恢复后的图像具有相同的几何结构或统计特征，并具有理想的视觉效果。图像修复对于许多图像编辑工作非常重要，例如，从图像中删除不需要的对象，通过图像修复来填充留下的空白区域。
[0004]目前，图像修复算法主要分为两类：传统方法和基于学习的方法。传统的图像修复方法可以分为基于扩散的方法和基于补丁的方法。基于扩散的方法通过求解偏微分方程将信息从背景逐渐传播到缺失区域，但该方法只适用于较小的缺失区域。基于补丁的方法将最佳匹配的背景补丁复制到从边界开始的孔洞中。这些方法表现出良好的性能，尤其是在后台修复任务上，因为后台总是有类似的补丁。但是，当缺失区域包含复杂结构或非重复纹理时，这类方法不再适用。
[0005]基于学习的图像修复模型可以将整个图像作为输入，修复缺失区域。这类方法通常采用编码器
‑
解码器结构，不仅接受待修复图像的颜色和纹理特征，还接受图像的语义特征，借助它们合成视觉逼真的低级像素，但是，专利技术人发现，现有的大多数基于学习的方法都无法为图像重建合理的内容，尤其是当图像的重要部分缺失时。并且，现有的一些方法虽然在孔洞和未损坏区域之间能够重建连续合理的结构，但在恢复图像纹理时，会产生与周围区域不一致的模糊纹理。

技术实现思路

[0006]本公开为了解决上述问题，提出了一种结合边缘信息和外观流操作的图像修复方法及系统，通过从边缘到平滑结构再到整体的修复过程实现对破损图像的修复，基于生成对抗网络，结合边缘信息和外观流操作进行三阶段图像修复，能够生成合理的结构和真实生动的纹理，从而达到较好的修复效果。
[0007]为了实现上述目的，本公开采用如下技术方案：
[0008]一个或多个实施例提供了一种结合边缘信息和外观流操作的图像修复方法，包括如下步骤：
[0009]对获取的待修复图像进行预处理，得到平滑图像；
[0010]根据边缘检测算法得到平滑图像的边缘图，再根据边缘图以及相应的掩膜图片，进行边缘预测，得到目标边缘图；
[0011]根据平滑图像和目标边缘图进行平滑结构重构，得到重构的平滑结构；
[0012]根据重构的平滑结构提取待修复图像的各区域之间的相关性，基于外观流操作从相关区域进行特征采样以生成生动的纹理，并将包含生动纹理信息的特征填充至待修复图像受损区域，最终得到修复的完整图像。
[0013]一个或多个实施例提供了一种结合边缘信息和外观流操作的图像修复系统，包括：
[0014]预处理模块：被配置为用于对获取的待修复图像进行预处理，得到平滑图像；
[0015]边缘预测模块：被配置为用于采用边缘检测算法获取平滑图像边缘图，根据平滑图像边缘图以及相应的掩膜图片，进行边缘预测，得到目标边缘图；
[0016]重构模块：被配置为用于根据平滑图像和目标边缘图进行平滑结构重构，得到重构的平滑结构；
[0017]图像修复模块：被配置为用于根据重构的平滑结构提取待修复图像的各区域之间的相关性，基于外观流操作从相关区域进行特征采样以生成生动的纹理，并将包含生动纹理信息的特征填充至待修复图像受损区域，最终得到修复的完整图像。
[0018]一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成上述方法所述的步骤。
[0019]一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成上述方法所述的步骤。
[0020]与现有技术相比，本公开的有益效果为：
[0021]本公开提供了三阶段图像修复方法，包括目标边缘预测、平滑结构重构以及纹理生成三个阶段，基于边缘信息及平滑结构信息使破损区域的结构与未破损区域结构更连续，图像中结构相关的区域具有更高的相似性；并且采用外观流操作，使得修复的纹理更真实，更贴近真实图像，能够为图像重建合理的内容，即使当图像的重要部分缺失时，通过外观流操作能够生成合理的结构和真实生动的纹理，同时不会产生与周围区域不一致的模糊纹理，从而达到令人满意的修复效果。
[0022]本公开的优点以及附加方面的优点将在下面的具体实施例中进行详细说明。
附图说明
[0023]构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的限定。
[0024]图1是本公开实施例1的三阶段图像修复网络模型的网络结构图；
[0025]图2是本公开实施例1的图像修复方法流程图；
[0026]图3是本公开实施例1的图像修复方法进行图像修复的实例图；
[0027]图4是本公开实施例1的图像修复方法与现有方法的图像修复对比实例图。
具体实施方式
[0028]下面结合附图与实施例对本公开作进一步说明。
[0029]应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属
的普通技术人员通常理解的相同含义。
[0030]需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。需要说明的是，在不冲突的情况下，本公开中的各个实施例及实施例中的特征可以相互组合。下面将结合附图对实施例进行详细描述。
[0031]实施例1
[0032]在一个或多个实施方式公开的技术方案中，如图1至图4所示，一种结合边缘信息和外观流操作的图像修复方法，包括如下步骤：
[0033]步骤1对获取的待修复图像进行预处理，得到平滑图像；
[0034]步骤2采用边缘检测算法获取平滑图像边缘图，根据平滑图像边缘图以及相应的掩膜图片，进行边缘预测，得到目标边缘图；
[0035]步骤3根据平滑图像和目标边缘图进行平滑结构重构，得到重构的平滑结构；
[0036]步骤4根据重构的平滑结构提取待修复图像的各区域之间的相关性，基于外观流操作从相关区域进行特征采样以生成生动的纹理，并将包含生动纹理信息的特征填充至待修复图像受损区域，最终得到修复的完整图像。
[0037]本实施例中，提供了三阶段图像修复方法，包括目标边缘预测、平滑结构重构以及纹理生成三个阶段，基于边缘信息及平滑结构信息使破本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种结合边缘信息和外观流操作的图像修复方法，其特征在于，包括如下步骤：对获取的待修复图像进行预处理，得到平滑图像；采用边缘检测算法获取平滑图像边缘图，根据平滑图像边缘图以及相应的掩膜图片，进行边缘预测，得到目标边缘图；根据平滑图像和目标边缘图进行平滑结构重构，得到重构的平滑结构；根据重构的平滑结构提取待修复图像的各区域之间的相关性，基于外观流操作从相关区域进行特征采样以生成生动的纹理，并将包含生动纹理信息的特征填充至待修复图像受损区域，最终得到修复的完整图像。2.如权利要求1所述的一种结合边缘信息和外观流操作的图像修复方法，其特征在于：采用边缘保留平滑方法对待修复图像进行平滑处理，得到平滑图像；或者，边缘保留平滑方法为RTV方法。3.如权利要求1所述的一种结合边缘信息和外观流操作的图像修复方法，其特征在于：通过构建三阶段图像修复网络模型实现目标边缘图的边缘预测、平滑结构重构和纹理生成步骤；三阶段图像修复网络模型包括边缘预测网络、平滑结构重构网络以及纹理生成网络，每个网络都采用生成对抗网络，每个生成对抗网络包含依次连接的生成器和判别器。4.如权利要求3所述的一种结合边缘信息和外观流操作的图像修复方法，其特征在于：三阶段图像修复网络模型的每个网络中的生成器包括级联的编码器和解码器，判别器用于判断输入的图像块是否是真实的。5.如权利要求3所述的一种结合边缘信息和外观流操作的图像修复方法，其特征在于：还包括对三阶段图像修复网络模型进行训练的步骤，包括如下：获取图像数据集及掩膜数据集，并对图像数据集中的图像进行平滑处理；根据平滑图像、平滑图像的边缘图以及相应的掩膜图片，输入至边缘预测网络，进行边缘预测，得到目标边缘图；根据将合成边缘图、平滑结构图像以及图像掩模作为输入，输入至平滑结构重构网络，得到重构的平滑结构；所述合成边缘图为：将平滑图像的边缘图的未破损区域和目标边缘图中的边缘进行结合，得到的图像；将带有破损区域待修复图像和重构的结构图像作为输入，输入至纹理生成网络，通过外观流操作生成包含生动纹理信息的特征，将包含生动纹理信息的特征填充至待修复图像的受损区域；单独训练三个每个阶段的生成对抗网络，训练完成后，去除第一阶段和第二阶段...

【专利技术属性】
技术研发人员：计华，刘乾，计晓赟，
申请(专利权)人：山东师范大学，
类型：发明
国别省市：