图像分辨率修复方法、装置、设备及存储介质制造方法及图纸

本公开提供了一种图像分辨率修复方法、装置、设备及存储介质，涉及人工智能技术领域中的计算机视觉、图像处理、深度学习、大数据等技术领域。获取待修复图像对应的第一修复图像，第一修复图像是根据第一参考图像和第二参考图像对待修复图像进行分辨率修复得到的，第一修复图像的分辨率大于待修复图像的分辨率，第一参考图像和第二参考图像对应相同图像内容且第一参考图像的分辨率大于第二参考图像的分辨率；根据第一参考图像，在图像通道上对第一修复图像进行分辨率修复，得到待修复图像对应的第二修复图像，第二修复图像的分辨率大于第一修复图像的分辨率。从而，通过在图像通道上对第一修复图像进一步修复，提高分辨率修复效果。效果。效果。

【技术实现步骤摘要】
图像分辨率修复方法、装置、设备及存储介质


[0001]本公开涉及人工智能
中的计算机视觉、图像处理、深度学习、大数据等
，尤其涉及一种图像分辨率修复方法、装置、设备及存储介质。

技术介绍

[0002]在图像修复任务中，图像分辨率修复能够将低分辨率图像转换为高分辨率图像，通过增大图像分辨率的方式提高图像的清晰度。
[0003]相关技术中，可将高分辨率图像、高分辨率图像对应的低分辨率图像和待修复的低分辨率图像输入至模型中，在模型中对高分辨率图像、高分辨率图像对应的低分辨率图像和待修复的低分辨率图像进行图像特征提取，对图像特征进行线性插值，得到待修复的低分辨率图像对应的高分辨率图像。
[0004]然而，上述方式的图像分辨率修复效果不佳。

技术实现思路

[0005]本公开提供了一种用于提高图像分辨率修复效果的图像分辨率修复方法、装置、设备及存储介质。
[0006]根据本公开的第一方面，提供了一种图像分辨率修复方法，包括：
[0007]获取待修复图像对应的第一修复图像，所述第一修复图像是根据第一参考图像和第二参考图像对所述待修复图像进行分辨率修复得到的，所述第一修复图像的分辨率大于所述待修复图像的分辨率，所述第一参考图像和所述第二参考图像为对应相同图像内容的图像，且所述第一参考图像的分辨率大于所述第二参考图像的分辨率；
[0008]根据所述第一参考图像，在图像通道上对所述第一修复图像进行分辨率修复，得到所述待修复图像对应的第二修复图像，所述第二修复图像的分辨率大于所述第一修复图像的分辨率。
[0009]根据本公开的第二方面，提供了一种图像分辨率修复装置，包括：
[0010]获取单元，用于获取待修复图像对应的第一修复图像，所述第一修复图像是根据第一参考图像和第二参考图像对所述待修复图像进行分辨率修复得到的，所述第一修复图像的分辨率大于所述待修复图像的分辨率，所述第一参考图像和所述第二参考图像为对应相同图像内容的图像，且所述第一参考图像的分辨率大于所述第二参考图像的分辨率；
[0011]修复单元，用于根据所述第一参考图像，在图像通道上对所述第一修复图像进行分辨率修复，得到所述待修复图像对应的第二修复图像，所述第二修复图像的分辨率大于所述第一修复图像的分辨率。
[0012]根据本公开的第三方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面所述的图像分辨率修复方法。
[0013]根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行第一方面所述的图像分辨率修复方法。
[0014]根据本公开的第五方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序，所述计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面所述的图像分辨率修复方法。
[0015]根据本公开提供的技术方案，在根据第一参考图像和第二参考图像对待修复图像进行分辨率修复得到第一修复图像之后，考虑到第一修复图像的分辨率修复效果还有待提高，利用第一参考图像的分辨率大于第二参考图像的分辨率的特点，基于第一参考图像在图像通道上对第一修复图像进行分辨率修复，提高第一修复图像的分辨率。从而，通过进行两阶段的分辨率修复，并在第二阶段以图像通道为分辨率修复的粒度，有效提高了图像分辨率修复效果，提高了分辨率修复后的图像质量。
[0016]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0017]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0018]图1为DGF模型的网络结构示意图；
[0019]图2为本公开实施例适用的一种应用场景的示意图；
[0020]图3为根据本公开实施例提供的图像分辨率修复方法的流程示意图一；
[0021]图4为根据本公开实施例提供的图像分辨率修复方法的流程示意图二；
[0022]图5为本公开实施例提供的模型结构示意图一；
[0023]图6为本公开实施例提供的模型结构示意图二；
[0024]图7为根据本公开实施例提供的图像分辨率修复方法的流程示意图三；
[0025]图8为本公开实施例提供的图像分辨率修复过程的示例图；
[0026]图9为本公开实施例提供的图像分辨率修复装置的结构示意图一；
[0027]图10为本公开实施例提供的图像分辨率修复装置的结构示意图二；
[0028]图11为可以用来实施本公开的实施例的示例电子设备1100的示意性框图。
具体实施方式
[0029]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0030]随着拍摄设备的不断升级，拍摄图像的分辨率大小也在不断增大，在实际场景中高分辨率图像已经非常常见。在各类的图像修复任务中，深度学习模型的输入数据与输出数据通常为分辨率相同的图像，输入深度学习模型的图像的分辨率越大，则图像传输和深度学习模型推理的耗时越长，如此，导致诸多的深度学习模型无法在高分辨率图像非常常见的实际场景中应用。
[0031]基于上述情况，专利技术人发现有必要在不影响模型效果的条件下缩小深度学习模型的输入图像的分辨率，再对深度学习模型的输出图像进行分辨率修复，使得深度学习模型依旧能够实际应用。
[0032]相关技术中，对图像分辨率进行修复的方式如下：
[0033]方式一：采用图像超分辨率模型对低分辨率图像进行图像重建，得到低分辨率图像对应的高分辨率图像。然而，图像超分辨率模型的结构复杂，推理运算过程耗时较长，导致图像分辨率修复效率较低。
[0034]方式二：通过深度导向滤波器(Deep Guided Filter，DGF)模型对低分辨率图像进行图像重建。
[0035]作为示例的，图1为DGF模型的网络结构示意图，如图1所示，DGF模型中包括导向图提取网络、膨胀卷积(Dilated convolution)网络、逐点卷积(Pointwise Convolution)网络、双线性上采样(Bilinear Upsample)层和线性插值层(Linear Layer)。基于图1所示的DGF模型进行图像分辨率修复的过程包括：将高分辨率图像、高分辨率图像对应的低分辨率图像以及待修复的低分辨本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像分辨率修复方法，包括：获取待修复图像对应的第一修复图像，所述第一修复图像是根据第一参考图像和第二参考图像对所述待修复图像进行分辨率修复得到的，所述第一修复图像的分辨率大于所述待修复图像的分辨率，所述第一参考图像和所述第二参考图像为对应相同图像内容的图像，且所述第一参考图像的分辨率大于所述第二参考图像的分辨率；根据所述第一参考图像，在图像通道上对所述第一修复图像进行分辨率修复，得到所述待修复图像对应的第二修复图像，所述第二修复图像的分辨率大于所述第一修复图像的分辨率。2.根据权利要求1所述的图像分辨率修复方法，其中，所述根据所述第一参考图像，在图像通道上对所述第一修复图像进行分辨率修复，得到所述待修复图像对应的第二修复图像，包括：分别对所述第一修复图像和所述第一参考图像进行通道分割，得到所述第一修复图像对应不同图像通道的多个第一通道图和所述第一参考图像对应不同图像通道的多个第二通道图；根据所述多个第二通道图对所述多个第一通道图进行分辨率修复，得到所述第一修复图像对应所述不同图像通道的多个通道修复图；对所述多个通道修复图进行通道拼接，得到所述第二修复图像。3.根据权利要求2所述的图像分辨率修复方法，其中，所述根据所述多个第二通道图对所述多个第一通道图进行分辨率修复，得到所述第一修复图像对应所述不同图像通道的多个通道修复图，包括：将对应同一图像通道的第一通道图和第二通道图进行通道拼接，得到所述不同图像通道分别对应的通道拼接图；针对所述不同图像通道中每个图像通道，对所述通道拼接图进行平滑处理，得到平滑处理后的通道拼接图；对平滑处理后的通道拼接图进行分辨率修复，得到所述第一修复图像对应所述图像通道的通道修复图。4.根据权利要求3所述的图像分辨率修复方法，其中，所述针对所述不同图像通道中每个图像通道，对所述通道拼接图进行平滑处理，得到平滑处理后的通道拼接图，包括：针对所述不同图像通道中每个图像通道，将所述通道拼接图输入至第一修复模型中的平滑模块中进行平滑处理，得到平滑处理后的通道拼接图。5.根据权利要求4所述的图像分辨率修复方法，其中，所述第一修复模型还包括所述不同图像通道分别对应的残差模块，所述对平滑处理后的通道拼接图进行分辨率修复，得到所述第一修复图像对应所述图像通道的通道修复图，包括：针对所述不同图像通道中每个图像通道，将平滑处理后的通道拼接图输入至所述图像通道对应的残差模块中进行分辨率修复，得到所述第一修复图像对应所述图像通道的通道修复图。6.根据权利要求1至5中任一项所述的图像分辨率修复方法，其中，所述获取待修复图像对应的第一修复图像，包括：将所述第一参考图像、所述第二参考图像以及所述待修复图像输入至第二修复模型，在所述第二修复模型中根据所述第一参考图像与所述第二参考图像之间的差异对所述待
修复图像进行分辨率修复，得到所述第一修复图像。7.根据权利要求6所述的图像分辨率修复方法，其中，所述第二修复模型包括深度导向滤波模型。8.根据权利要求1至5中任一项所述的图像分辨率修复方法，其中，所述待修复图像包括深度学习模型的输出图像，所述输出图像是将所述第二参考图像输入至深度学习模型进行图像处理后得到的。9.一种图像分辨率修复装置，包括：获取单元，用于获取待修复图像对应的第一修复图像，所述第一修复图像是根据第一参考图像和第二参考图像对所述待修复图像进行分辨率修复得到的，所述第一修复...

【专利技术属性】
技术研发人员：蔡明伟，姚海，赵以诚，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：