基于深度学习的去除马赛克的方法、装置及电子设备制造方法及图纸

本申请公开了一种基于深度学习的去除马赛克的方法、装置及电子设备，该方法包括：获取包括待修复马赛克区域的待修复图像；将待修复图像输入至图像修复模型中，通过图像修复模型生成与待修复图像对应的被掩码masked图像；与待修复图像对应的masked图像满足：与待修复图像大小相同，图像中的掩码mask区域重叠或覆盖待修复马赛克区域，图像中的mask区域的像素值为设定值，图像中除mask区域之外的区域的像素值为待修复图像中相应区域的像素值；通过图像修复模型对masked图像进行修复，得到修复后的图像。本申请的方案，对待修复图像的修复可以不依赖于待修复图像对应的原图中马赛克区域的信息，且修复效果好。

Mosaic Removal Method, Device and Electronic Equipment Based on Deep Learning

This application discloses a method, device and electronic device for removing mosaic based on depth learning, which includes: acquiring the image to be repaired including the mosaic area to be repaired; inputting the image to be repaired into the image restoration model, generating masked image corresponding to the image to be repaired through the image restoration model; and satisfying the masked image corresponding to the image to be repaired. As the size of the image to be repaired is the same, the mask mask area overlaps or covers the mosaic area to be repaired, the pixel value of the mask area in the image is set value, and the pixel value of the area other than the mask area in the image is the pixel value of the corresponding area in the image to be repaired; the masked image is repaired by the image restoration model, and the repaired image is obtained. In the scheme of this application, the restoration of the restored image can be independent of the information of the mosaic area in the original image corresponding to the restored image, and the restoration effect is good.

【技术实现步骤摘要】
基于深度学习的去除马赛克的方法、装置及电子设备
本申请涉及图像处理
，尤其涉及一种基于深度学习的去除马赛克的方法、装置及电子设备。
技术介绍
目前，去马赛克技术其实是个图像超分辨率问题，也就是如何在低分辨率图像基础上得到更高分辨率的图像。通常情况下，马赛克是难以清除的。这是因为在打码过程中，原图的信息会经历不可逆的损失，如果没有原始图片，是不可能将马赛克完美去掉的。现有常用去马赛技术主要有：传统的去马赛克技术，基本上都是基于插值算法实现，比如，LCCI(LinearInterpolationwithColorCorrectionTermsI，带颜色校正的线性插值)，NNR(NearestNeighborReplication，最近邻复制)，Biliner(双线性插值)以及Vargra(InterpolationUsingThreshold-basedVariableNumberofGradients，基于阈值的梯度变量插值)。但是基于插值的去马赛克算法，去马赛的效果并不太好，有的没有克服假色影响，有的不能保证图像轮廓边缘的平滑性，有的插值结果会产生块状纹理，影响图像的视觉效果。现有的基于深度学习的去马赛克技术，有基于图像翻译的pix2pix(像素转像素)模型，有结合对偶学习和GAN(GenerativeAdversarialNetworks，生成式对抗网络)思想的CycleGAN，甚至可以使用基于GAN的超分辨率SRGAN方法，还有GoogleBrain2017年提出的像素递归超分辨率(PixelRecursiveSuperResolution)。基于深度学习的去马赛克技术，虽然一定程度上能重建修复马赛克，但该方式具有数据量大，收敛不易，训练难度大，参数调整困难等问题，并且大部分训练都依赖于原始图片信息。无论是传统插值算法，还是基于深度学习算法的马赛克去除，都过分依赖于马赛克的制作方式，比如传统插值算法可能要依赖于马赛克生成规则，而深度学习算法会依赖于马赛克的大小。
技术实现思路
为了解决上述现有技术中存在的至少一个问题，本申请提供了一种基于深度学习的去除马赛克的方法、装置及电子设备。为了解决上述问题，本申请主要提供如下技术方案：第一方面，本专利技术实施例提供了一种基于深度学习的去除马赛克的方法，该方法包括：获取待修复图像，所述待修复图像中包括待修复马赛克区域；将所述待修复图像输入至图像修复模型中，通过所述图像修复模型生成与所述待修复图像对应的被掩码(masked)图像；其中，与所述待修复图像对应的masked图像满足：与所述待修复图像大小相同，图像中的掩码mask区域重叠或覆盖所述待修复马赛克区域，图像中的mask区域的像素值为设定值，图像中除mask区域之外的区域的像素值为所述待修复图像中相应区域的像素值；通过所述图像修复模型对所述masked图像进行修复，得到修复后的图像。在第一方面的可选实施方式中，所述通过所述图像修复模型生成与所述待修复图像对应的被掩码masked图像，包括：通过所述图像修复模型检测所述待修复图像中的所述待修复马赛克区域；根据检测出的所述待修复马赛克区域，生成与所述待修复图像对应的mask图像；根据所述待修复图像，以及与所述待修复图像对应的所述mask图像，生成与所述待修复图像对应的masked图像；其中，与任一图像对应的mask图像满足：与所述任一图像大小相同，图像中的mask区域的像素值根据所述设定值确定，图像中除mask区域之外的区域为黑色。在第一方面的可选实施方式中，所述设定值为白色所对应的像素值。在第一方面的可选实施方式中，所述方法还包括：获取图像数据集，并将所述图像数据集随机划分为训练数据集和验证数据集；基于所述训练数据集中的训练图像对待训练图像修复模型进行训练，基于所述验证数据集中的验证图像对训练后的图像修复模型进行验证，直至训练后的图像修复模型收敛且验证结果满足预设条件；将训练后的图像修复模型确定为所述图像修复模型。在第一方面的可选实施方式中，所述基于所述训练数据集中的训练图像对待训练图像修复模型进行训练，基于所述验证数据集中的验证图像对训练后的图像修复模型进行验证，包括：将所述训练图像输入至所述待训练图像修复模型，通过所述待训练图像修复模型生成与所述训练图像对应的masked图像；基于与所述训练图像对应的masked图像对所述待训练图像修复模型进行训练，直至训练后的图像修复模型收敛，得到收敛的图像修复模型；将所述验证图像输入至所述收敛的图像修复模型中，通过所述收敛的图像修复模型生成与所述验证图像对应的masked图像；基于所述验证图像，以及所述验证图像对应的masked图像，对所述收敛的图像修复模型进行验证；其中，与所述训练图像或所述验证图像对应的masked图像满足：与所述训练图像或所述验证图像大小相同，图像中的mask区域的像素值为所述设定值，图像中除mask区域之外的区域的像素值为所述训练图像或所述验证图像中对应区域的像素值。在第一方面的可选实施方式中，所述通过所述收敛的图像修复模型生成与所述训练图像对应的masked图像，包括：通过所述收敛的图像修复模型生成与所述训练图像对应的mask图像；根据所述训练图像，以及与所述训练图像对应的mask图像，生成与所述训练图像对应的masked图像。在第一方面的可选实施方式中，所述基于所述训练数据集中的训练图像对待训练图像修复模型进行训练之前，所述方法还包括：将所述图像数据集中的图像转换成设定大小；所述通过所述图像修复模型生成与所述待修复图像对应的被掩码masked图像之前，包括：将所述待修复图像转换成所述设定大小。第二方面，本申请提供了一种基于深度学习的去除马赛克的装置，该装置包括：待修复图像获取模块，用于获取待修复图像，所述待修复图像中包括待修复马赛克区域；被掩码图像生成模块，用于将所述待修复图像输入至图像修复模型中，通过所述图像修复模型生成与所述待修复图像对应的被掩码masked图像；其中，与所述待修复图像对应的masked图像满足：与所述待修复图像大小相同，图像中的掩码mask区域重叠或覆盖所述待修复马赛克区域，图像中的mask区域的像素值为设定值，图像中除mask区域之外的区域的像素值为所述待修复图像中相应区域的像素值；图像修复模块，用于通过所述图像修复模型对所述masked图像进行修复，得到修复后的图像。第三方面，本申请还提供了一种电子设备，该电子设备包括至少一个处理器，以及与处理器连接的至少一个存储器；存储器中存储有计算机程序指令，处理器，用于调用计算机程序指令，以执行本申请第一方面或第一方面任一可选实施方式中所示的方法。第四方面，本申请还提供了一种计算机可读存储介质，该存储介质中存储有计算机程序指令，当程序指令被处理器调用时，处理器执行本申请第一方面或第一方面任一可选实施方式中所示的方法。本申请提供的技术方案至少具有下列优点：本专利技术提供的基于深度学习的去除马赛克的方法、装置及电子设备，基于图像修复模型实现对待修复图像中马赛克区域的恢复，在对待修复图像进行修复时，可以不依赖于待修复图像对应的原图中马赛克区域信息，即可方便的实现图像中局部马赛克的消除，且修复效果好。上述说明仅是本专利技术实施例本文档来自技高网...

【技术保护点】
1.基于深度学习的去除马赛克的方法，其特征在于，包括：获取待修复图像，所述待修复图像中包括待修复马赛克区域；将所述待修复图像输入至图像修复模型中，通过所述图像修复模型生成与所述待修复图像对应的被掩码masked图像；其中，与所述待修复图像对应的masked图像满足：与所述待修复图像大小相同，图像中的掩码mask区域重叠或覆盖所述待修复马赛克区域，图像中的mask区域的像素值为设定值，图像中除mask区域之外的区域的像素值为所述待修复图像中相应区域的像素值；通过所述图像修复模型对所述masked图像进行修复，得到修复后的图像。

【技术特征摘要】
1.基于深度学习的去除马赛克的方法，其特征在于，包括：获取待修复图像，所述待修复图像中包括待修复马赛克区域；将所述待修复图像输入至图像修复模型中，通过所述图像修复模型生成与所述待修复图像对应的被掩码masked图像；其中，与所述待修复图像对应的masked图像满足：与所述待修复图像大小相同，图像中的掩码mask区域重叠或覆盖所述待修复马赛克区域，图像中的mask区域的像素值为设定值，图像中除mask区域之外的区域的像素值为所述待修复图像中相应区域的像素值；通过所述图像修复模型对所述masked图像进行修复，得到修复后的图像。2.根据权利要求1所述的方法，其特征在于，所述通过所述图像修复模型生成与所述待修复图像对应的被掩码masked图像，包括：通过所述图像修复模型检测所述待修复图像中的所述待修复马赛克区域；根据检测出的所述待修复马赛克区域，生成与所述待修复图像对应的mask图像；根据所述待修复图像，以及与所述待修复图像对应的所述mask图像，生成与所述待修复图像对应的masked图像；其中，与任一图像对应的mask图像满足：与所述任一图像大小相同，图像中的mask区域的像素值根据所述设定值确定，图像中除mask区域之外的区域为黑色。3.根据权利要求1或2所述的方法，其特征在于，所述设定值为白色所对应的像素值。4.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：获取图像数据集，并将所述图像数据集随机划分为训练数据集和验证数据集；基于所述训练数据集中的训练图像对待训练图像修复模型进行训练，基于所述验证数据集中的验证图像对训练后的图像修复模型进行验证，直至训练后的图像修复模型收敛且验证结果满足预设条件；将训练后的图像修复模型确定为所述图像修复模型。5.根据权利要求4所述的方法，其特征在于，所述基于所述训练数据集中的训练图像对待训练图像修复模型进行训练，基于所述验证数据集中的验证图像对训练后的图像修复模型进行验证，包括：将所述训练图像输入至所述待训练图像修复模型，通过所述待训练图像修复模型生成与所述训练图像对应的masked图像；基于与所述训练图像对应的masked图像对所述待训练图像修复模型进行训练，直至训练后的图像修复模型收敛，得到收敛的图像修复模型；将所述验证图像输入至所述收敛的图...

【专利技术属性】
技术研发人员：陈苗，
申请(专利权)人：深圳市能信安科技股份有限公司，
类型：发明
国别省市：广东,44