一种图像修复方法、装置及电子设备制造方法及图纸

本发明专利技术实施例提供了一种图像修复方法、装置及电子设备。其中，方法包括：利用预设尺寸的卷积核，对待修复图像进行部分卷积处理，得到待修复图像的特征图；通过部分卷积处理，将待修复图像的特征图下采样至第一分辨率：分别利用多个不同尺寸的空洞卷积核对待修复图像的特征图进行部分卷积处理，得到多个不同尺寸的空洞卷积核各自对应的特征图；融合所有不同尺寸的空洞卷积核对应的特征图，得到融合结果，将融合结果作为待修复图像的新的特征图；通过部分卷积处理，将待修复图像的特征图下采样至第二分辨率：对待修复图像的特征图进行反卷积处理，得到与待修复图像分辨率相同的图像，作为修复后图像。可以使得修复后的图像更加准确。

An image restoration method, device and electronic equipment

The embodiment of the invention provides an image repair method, a device and an electronic device. Among them, the methods include: using the convolution kernel of preset size to partially convolute the image to be repaired to obtain the characteristic image of the image to be repaired; through the partial convolution processing, sampling the characteristic image of the image to be repaired to the first resolution: using multiple hole convolution kernels of different sizes to partially convolute the characteristic image of the image to be repaired to obtain multiple different The size of the hole convolution kernels corresponding to their respective feature maps; fusion of all the different size of the hole convolution kernels corresponding to the feature maps, get the fusion results, the fusion results as the new feature map of the image to be repaired; through partial convolution processing, the feature map of the image to be repaired is sampled to the second resolution: the feature map of the image to be repaired is deconvoluted, and the image to be repaired is obtained The image with the same resolution of the complex image is used as the repaired image. It can make the repaired image more accurate.

【技术实现步骤摘要】
一种图像修复方法、装置及电子设备
本专利技术涉及深度学习
，特别是涉及一种图像修复方法、装置及电子设备。
技术介绍
一些图像中可能缺失部分图像信息，例如由于广告牌的遮挡，导致拍摄到的风景照中缺失部分景物的图像，影响图像的视觉效果。相关技术中，可以利用深度学习得到的神经网络对图像中缺失的图像信息进行修复。然而，现有技术中图像修复的相关方式，通常是基于当前图像中已有的信息，向图像中增加信息的过程。因此，如果当前图像中缺失过多信息，现有方式难以有效提取到图像语义信息，可能会无法较好的进行图像修复。
技术实现思路
本专利技术实施例的目的在于提供一种图像修复方法，以提高图像修复的准确性。具体技术方案如下：在本专利技术实施例的第一方面，提供了一种图像修复方法，所述方法包括：利用预设尺寸的卷积核，对待修复图像进行部分卷积处理，得到所述待修复图像的特征图；通过部分卷积处理，将所述待修复图像的特征图下采样至第一分辨率：分别利用多个不同尺寸的空洞卷积核对所述待修复图像的特征图进行部分卷积处理，得到所本文档来自技高网...

【技术保护点】
1.一种图像修复方法，其特征在于，所述方法包括：/n利用预设尺寸的卷积核，对待修复图像进行部分卷积处理，得到所述待修复图像的特征图；/n通过部分卷积处理，将所述待修复图像的特征图下采样至第一分辨率：/n分别利用多个不同尺寸的空洞卷积核对所述待修复图像的特征图进行部分卷积处理，得到所述多个不同尺寸的空洞卷积核各自对应的特征图，每个所述空洞卷积核中非零点的数目与所述预设尺寸的卷积核中非零点的数目相同；/n融合所有不同尺寸的空洞卷积核对应的特征图，得到融合结果，将所述融合结果作为所述待修复图像的新的特征图；/n通过部分卷积处理，将所述待修复图像的特征图下采样至第二分辨率，所述第二分辨率低于所述第一分...

【技术特征摘要】
1.一种图像修复方法，其特征在于，所述方法包括：
利用预设尺寸的卷积核，对待修复图像进行部分卷积处理，得到所述待修复图像的特征图；
通过部分卷积处理，将所述待修复图像的特征图下采样至第一分辨率：
分别利用多个不同尺寸的空洞卷积核对所述待修复图像的特征图进行部分卷积处理，得到所述多个不同尺寸的空洞卷积核各自对应的特征图，每个所述空洞卷积核中非零点的数目与所述预设尺寸的卷积核中非零点的数目相同；
融合所有不同尺寸的空洞卷积核对应的特征图，得到融合结果，将所述融合结果作为所述待修复图像的新的特征图；
通过部分卷积处理，将所述待修复图像的特征图下采样至第二分辨率，所述第二分辨率低于所述第一分辨率：
对所述待修复图像的特征图进行反卷积处理，得到与所述待修复图像分辨率相同的图像，作为修复后图像；
所述通过部分卷积处理，将所述待修复图像的特征图下采样至第一分辨率，包括：
重复执行以下步骤，直至所述待修复图像的特征图的分辨率等于所述第一分辨率；
利用预设尺寸的卷积核，对所述待修复图像的特征图进行部分卷积处理，得到所述待修复图像的新的特征图，所述部分卷积处理的步长大于1；
所述通过部分卷积处理，将所述待修复图像的特征图下采样至第二分辨率，包括：
重复执行以下步骤，直至所述待修复图像的特征图的分辨率等于所述第二分辨率，
利用所述预设尺寸的卷积核，对所述待修复图像的特征图进行部分卷积处理，得到所述待修复图像的新的特征图，所述部分卷积处理的步长大于1。


2.根据权利要求1所述的方法，其特征在于，所述对所述待修复特征图进行反卷积处理，得到与所述待修复图像分辨率相同的图像，作为修复后的图像，包括：
通过反卷积处理，将所述待修复图像的特征图上采样至所述第一分辨率；
基于所述待修复图像的特征图中待修复图像区域与所述待修复图像的特征图中各个预设区域的相似度，利用注意力机制，计算所述待修复图像区域中各像素点的像素值，得到所述待修复图像的新的特征图；
通过反卷积处理，将所述待修复图像的特征图上采样至与所述待修复图像相同的分辨率，将所述待修复图像的特征图作为修复后的图像；
所述通过反卷积处理，将所述待修复图像的特征图上采样至所述第一分辨率，包括：
重复执行以下步骤，直至所述待修复图像的特征图的分辨率等于所述第一分辨率：
利用所述预设尺寸的卷积核，对所述待修复图像的特征图进行反卷积处理得到所述待修复图像的新的特征图；
所述通过反卷积处理，将所述待修复图像的特征图上采样至与所述待修复图像相同的分辨率，包括：
重复执行以下步骤，直至所述待修复图像的特征图的分辨率等于所述待修复图像的分辨率：
利用所述预设尺寸的卷积核，对所述待修复图像的特征图进行反卷积处理得到所述待修复图像的新的特征图。


3.根据权利要求2所述的方法，其特征在于，所述利用所述预设尺寸的卷积核，对所述待修复图像的特征图进行反卷积处理，得到所述待修复图像的新的特征图，包括：
利用所述预设尺寸的卷积核，对所述待修复图像的特征图进行反卷积处理，得到反卷积处理结果；
将所述反卷积处理结果与对应的特征图融合，得到融合结果，将所述融合结果作为所述待修复图像的新的特征图，所述对应的特征图为在利用所述预设尺寸的卷积核对所述待修复图像的特征图进行部分卷积处理过程中得到的与所述反卷积处理结果分辨率相同的特征图。


4.根据权利要求1所述的方法，其特征在于，所述待修复图像的分辨率为2的n次幂*2的n次幂，所述第一分辨率为2的m次幂*2的m次幂，所述第二分辨率为2*2，其中，n和m为大于1的正整数，并且n大于m。


5.根据权利要求1所述的方法，其特征在于，所述多个不同尺寸的空洞卷积核包括扩张率为4、8、16的空洞卷积核。


6.一种图像修复装置，其特征在于，所述装置包括：
第一部分卷积模块，用于利...

【专利技术属性】
技术研发人员：夏清沛，杨东，孙华超，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：北京;11