图像修复方法、终端及计算机存储介质技术

本申请实施例公开了一种图像修复方法，终端在待修复图像中确定目标区域，并基于目标区域生成待修复图像对应的第一图像和第二图像；基于全尺度卷积神经网络，根据第一图像和第二图像进行图像修复处理，获得待修复图像对应的修复后图像。修复后图像。修复后图像。

【技术实现步骤摘要】
图像修复方法、终端及计算机存储介质


[0001]本申请实施例涉及终端
，尤其涉及一种图像修复方法、终端及计算机存储介质。

技术介绍

[0002]随着移动终端设备技术和图像视频媒体社交网络的蓬勃发展，人们对于图像视频编辑的相关技术的应用需求越来越大，图像修复技术便是其中具有重要应用价值和研究前景的技术之一。
[0003]目前，针对高清图像的修复任务的诸多方案中，先对下采样图像进行修复再做上采样的修复方案运算复杂度会比较高，同时会引入比较强的结构失真，导致修复效果不佳。而引入感知范围更大的网络结构的修复方案，或者感知范围仍然有限，或者在运算过程中会引入结构失真，均会影响修复效果。
[0004]可见，目前常见的图像修复方法，均存在修复效果差的问题。

技术实现思路

[0005]本申请实施例提供一种图像修复方法、终端及计算机存储介质，能够提升图像修复的修复效果。
[0006]本申请实施例的技术方案是这样实现的：
[0007]第一方面，本申请实施例提供了一种图像修复方法，所述方法包括：
[0008]在待修复图像中确定目标区域，并基于所述目标区域生成所述待修复图像对应的第一图像和第二图像；
[0009]基于全尺度卷积神经网络，根据所述第一图像和所述第二图像进行图像修复处理，获得所述待修复图像对应的修复后图像。
[0010]第二方面，本申请实施例提供了一种终端，所述终端包括：确定单元，生成单元，修复单元，
[0011]所述确定单元，用于在待修复图像中确定目标区域；
[0012]所述生成单元，用于基于所述目标区域生成所述待修复图像对应的第一图像和第二图像；
[0013]所述修复单元，用于基于全尺度卷积神经网络，根据所述第一图像和所述第二图像进行图像修复处理，获得所述待修复图像对应的修复后图像。
[0014]第三方面，本申请实施例提供了一种终端，所述终端包括处理器、存储有所述处理器可执行指令的存储器，当所述指令被所述处理器执行时，实现如上所述的图像修复方法。
[0015]第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有程序，应用于终端中，所述程序被处理器执行时，实现如上所述的图像修复方法。
[0016]本申请实施例提供一种图像修复方法、终端及计算机存储介质，终端在待修复图像中确定目标区域，并基于目标区域生成待修复图像对应的第一图像和第二图像；基于全
尺度卷积神经网络，根据第一图像和第二图像进行图像修复处理，获得待修复图像对应的修复后图像。由此可见，在本申请的实施例中，终端可以根据目标区域生成待修复图像的第一图像(空洞图像)和第二图像(蒙版图像)，然后可以使用全尺度卷积神经网络，结合第一图像和第二图像进行图像修复处理。其中，基于全尺度卷积神经网络，在进行图像修复时引入了多个级别多个感知尺度的卷积操作，可以有效建模空洞区域和已知区域局部和全局的上下文关系，进行较好的修复操作，从而可以提升图像修复的修复效果。
附图说明
[0017]图1为图像修复方法的实现流程示意图一；
[0018]图2为目标区域的示意图；
[0019]图3为图像修复方法的实现流程示意图二；
[0020]图4a
‑
图4d为对比效果示意图一；
[0021]图5a
‑
图5d为对比效果示意图二；
[0022]图6为本申请实施例提出的图像修复的实现原理示意图一；
[0023]图7为本申请实施例提出的图像修复的实现原理示意图二；
[0024]图8为全尺度卷积模块的结构示意图；
[0025]图9为全局尺度卷积网络的结构示意图；
[0026]图10为图像修复模型的训练方法示意图；
[0027]图11为终端的组成结构示意图一；
[0028]图12为终端的组成结构示意图二。
具体实施方式
[0029]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是，此处所描述的具体实施例仅仅用于解释相关申请，而非对该申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关申请相关的部分。
[0030]随着移动终端设备技术和图像视频媒体社交网络的蓬勃发展，人们对于图像视频编辑的相关技术的应用需求越来越大，图像修复技术便是其中具有重要应用价值和研究前景的技术之一。图像修复技术的应用场景包括移除用户拍摄图像中的不需要的目标对象，老旧影像资料的修复等。
[0031]深度学习技术的发展极大的推动了图像修复技术的进步，然而高清图像修复技术仍然存在很大的发展空间。目前主流的高清图像技术方案主要是先将待修复的高清图像进行下采样处理，下采样后的图像经过卷积神经网络进行修复，再对修复后的图像进行某种方式的上采样。比如，一种修复方法为采用金字塔式的修复结构，先对下采样32倍的图像进行修复，放大后再和下采样16倍的图像一起作为输入进行修复，以此类推，直至进行到原始大小的图像修复；另一种修复方法为直接将下采样图修复后的图像输入到超分辨神经网络中进行上采样处理；再一种修复方法则在进行上采样处理时引入相似块作为输入，通过计算修复好的下采样图像的已知区域内容和空洞区域内容的关系，将高清图像已知区域的特征引入到空洞区域中，提高纹理细节；另一种修复方法在前者基础上，提出了基于残差聚合的修复网络(High
‑
resolution image fill network，HiFill)，去掉了上采样网络计算，直
接将高清图像已知区域的残差加到空洞区域中提高纹理细节。
[0032]此外，还有一类技术通过引入感知范围更大的网络结构来解决高清图像中空洞区域过大的问题。其中，提出了一种聚合上下文变换网络(Aggregated Contextual Transformations GAN，AOTGAN)，在一个模块中同时引入不同大小的膨胀卷积，从而增大其感知范围，还可以通过引入一种具有自注意力功能的变换网络transformer架构提高感知范围，transformer是一种能够计算图像中所有块互相直接关系的自注意力机制，具有全局的感知能力。
[0033]目前，针对高清图像的修复任务的上述方案中，先对下采样图像进行修复再做上采样的修复方案存在两方面的缺点，一是由于存在多个网络，运算复杂度会比较高，二是直接融合相似块进行上采样计算会引入比较强的结构失真，导致修复效果不佳。而引入感知范围更大的网络结构的修复方案中，基于聚合上下文变换网络的感知范围仍然有限，相对于高清图像的大小仍然不够大，导致修复效果不佳；基于Transformer的图像修复是将图像以块为单位进行切分计算，但是图像的空洞是随机形状的，导致在运算过程中会引入结构失真，也会影响修复效果。
[0034]可见，目前常见的图像修复方法，均存在修复效果差的问题。
[0035]为了解决上述缺陷，终端在待修复图像中确定目标区本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像修复方法，其特征在于，所述方法包括：在待修复图像中确定目标区域，并基于所述目标区域生成所述待修复图像对应的第一图像和第二图像；基于全尺度卷积神经网络，根据所述第一图像和所述第二图像进行图像修复处理，获得所述待修复图像对应的修复后图像。2.根据权利要求1所述的方法，其特征在于，所述基于全尺度卷积神经网络，根据所述第一图像和所述第二图像进行图像修复处理，获得所述待修复图像对应的修复后图像，包括：根据所述第一图像生成第一修复特征图；将所述第一图像、所述第二图像以及所述第一修复图输入至所述全尺度卷积神经网络，生成所述修复后图像。3.根据权利要求2所述的方法，其特征在于，所述全尺度卷积神经网络包括编码网络，融合网络，修复网络以及解码网络。4.根据权利要求3所述的方法，其特征在于，所述将所述第一图像、所述第二图像以及所述第一修复图输入至所述全尺度卷积神经网络，生成所述修复后图像，包括：将所述第一图像和所述第二图像输入至所述编码网络，生成第一特征图；基于所述融合网络对所述第一修复特征图和所述第一特征图进行融合处理，生成第二特征图；基于所述修复网络对所述第二特征图进行修复处理，生成第二修复特征图；将所述第二修复特征图输入至所述解码网络，生成所述修复后图像。5.根据权利要求4所述的方法，其特征在于，所述修复网络包括第一尺度卷积网络、第二尺度卷积网络以及全局尺度卷积网络，所述基于所述修复网络对所述第二特征图进行修复处理，生成第二修复特征图，包括：按照所述第二特征图的通道数对所述第二特征图的特征信息进行分组处理，获得多个特征组；按照所述多个特征组将所述第二特征图的特征信息分别输入至所述第一尺度卷积网络、所述第二尺度卷积网络以及所述全局尺度卷积网络，生成多组修复后的特征信息；对所述多组修复后的特征信息进行融合处理，生成所述第二修复特征图。6.根据权利要求5所述的方法，其特征在于，所述第一尺度卷积网络和所述第二尺度卷积网络具有相同的卷积核；所述第一尺度卷积网络中的不同网络所对应的感知范围和膨胀系数不同；所述第二尺度卷积网络中的不同网络所对应的感知范围和膨胀系数不同。7.根据权利要求5所述的方法，其特征在于，所述全局尺度卷积网络，用于对输入的特征信息进行变换处理，获得对应的频域特征图；对所述频域特征图进行卷积处理，获得...

【专利技术属性】
技术研发人员：陈志波，刘森，杨智尧，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：