图像去网格方法、存储介质技术

本发明专利技术公开了一种图像去网格方法和存储介质，用于对带网格的图像进行去网格处理，该方法包括：采用由生成器和判别器组成的生成对抗网络模型，分别从带网格的图像、不带网格的原始图像上对应随机抠取的预定大小的块输入生成对抗网络模型进行训练，直到生成器生成的图像为真实；取上一步中的生成器并结合预先训练好的识别网络作为预训练模型，分别从带网格的图像、不带网格的原始图像上抠取包含人脸区域的预定大小的块输入预训练模型的进行特征约束训练，直到生成器生成的图像为真实；采用上一步训练好的生成器对需去网格的图像进行去网格处理。

【技术实现步骤摘要】
图像去网格方法、存储介质
本专利技术涉及图像去网格处理领域，特别地，涉及一种图像去网格方法及存储介质。
技术介绍
随着信息化建设进一步的加强，人脸识别技术广泛应用到人们生活的各种场景中。在银行和其他金融相关业务中，系统会从公安部获取居民图像，与用户现场采集照片进行比对，以确认用户身份。为了保护公民的隐私，从公安部获的居民证件照是带有网格水印的。如何提高带网格证件照与现场照的比对精度，是一个迫切需要解决的技术难题。目前有两种思路提高带网格证件照与现场照的比对精度。一是直接训练带网格的证件照和现场照，这种方法对网格证件照的数量要求较高，实测实际效果也不够理想。另一种是对带网格的证件照先去网格，再进行比对识别。Gan(GenerativeAdversarialNets)生成对抗网络是目前广泛应用的一种技术。在数据生成、无监督学习、半监督学习、风格迁移等领域，Gan都取得了不错的效果。深度学习去网格相关的技术类似的技术有图像去噪、去脏、超分辨率等。其共同点是使用全卷积结构pixeltopixel的方法来处理，考虑图像像素点的欧式距离。此方法也可直接应用于去网格算法，在实践中此方法有如下问题：1.需要大量带网格图像和对应不带网格图像的pair对，对数据要求较高；2.只考虑了图像空间，没有考虑特征空间(去网格后的图像用来识别的好坏)，导致识别效率低。
技术实现思路
本专利技术提供了一种图像去网格方法及存储介质，以解决现有方法识别效率低的技术问题。本专利技术采用的技术方案如下：本专利技术的一方面提供了一种图像去网格方法，用于对带网格的图像进行去网格处理，包括：采用由生成器和判别器组成的生成对抗网络模型，分别从带网格的图像、不带网格的原始图像上对应随机抠取的预定大小的块输入生成对抗网络模型进行训练，直到生成器生成的图像为真实；取上一步中的生成器并结合预先训练好的识别网络作为预训练模型，分别从带网格的图像、不带网格的原始图像上抠取包含人脸区域的预定大小的块输入预训练模型的进行特征约束训练，直到生成器生成的图像为真实；采用上一步训练好的生成器对需去网格的图像进行去网格处理。进一步地，采用由生成器和判别器组成的生成对抗网络模型，分别从带网格的图像、不带网格的原始图像上对应随机抠取的预定大小的块输入生成对抗网络模型进行训练，直到生成器生成的图像为真实的过程包括：从带网格的图像上随机抠取96*96大小的第一图像块输入生成器，由生成器生成去网格后图像块；从不带网格的原始图像中对应抠取96*96大小的第二图像块，将去网格后图像块与第二图像块的像素均方差损失作为生成器的损失函数；将去网格后图像块与第二图像块作为判别器的输入，将二者的分类损失作为判别器的损失函数；将像素均方差损失和分类损失的加权损失作为生成对抗网络模型的目标函数，迭代训练并优化模型参数使网络输出的损失函数值下降并收敛。进一步地，生成器采用的像素均方差损失函数如下公式：其中，Pl表示对应不带网格的第二图像块，PO表示经过生成器处理后的去网格后图像块，LMSE为像素均方差损失，W表示图像块的宽度，H表示图像块的高度；判别器采用的分类损失函数如下公式：进一步地，在生成对抗网络模型进行训练的过程中，生成器和判别器依次进行训练，更新一次生成器的参数再跟新一次判别器的参数。进一步地，取上一步中的生成器并结合预先训练好的识别网络作为预训练模型，分别从带网格的图像、不带网格的原始图像上抠取包含人脸区域的预定大小的块输入预训练模型的进行特征约束训练，直到生成器生成的图像为真实的过程包括：从带网格的图像的中间区域抠取包含人脸的160*160大小的第三图像块输入生成器，由生成器生成去网格后图像块；从不带网格的原始图像的中间区域抠取包含人脸的160*160大小的第四图像块，将去网格后图像块与第四图像块的像素均方差损失作为生成器的损失函数；将去网格后图像块与第四图像块作为识别网络的输入，经识别网络提取二者的对应特征，并将两个对应特征的余弦距离损失作为识别网络的损失函数；将像素均方差损失和余弦距离损失的加权损失作为预训练模型的目标函数，迭代训练并优化模型参数使网络输出的损失函数值下降并收敛。进一步地像素均方差损失函数如下公式：其中，Pl表示对应不带网格的第四图像块，PO表示经过生成器处理后的去网格后图像块，LMSE为像素均方差损失，W表示图像块的宽度，H表示图像块的高度；识别网络将两个对应特征夹角的余弦值取负作为损失函数，公式如下：其中，Fl表示Pl经过识别网络处理得到的特征，FO表示PO经过识别网络处理得到的特征。进一步地，在预训练模型的进行特征约束训练的过程中，生成器和识别网络同时计算，训练的时候固定识别网络的参数，只训练更新生成器的参数。进一步地，生成器的网络结构包括卷积层、多个重复的残差块、批量归一化层和求和层，求和层加入第一个卷积层后的输入，其中，残差块由卷积层、批量归一化层、参数化修正线性单元层、卷积层、批量归一化层和求和层组成；判别器的网络结构包括卷积层、带泄露线性修正单元层、批量归一化层、全连接层以及sigmoid激活层；识别网络为50层残差网络结构。根据本专利技术的另一方面，还提供了一种存储介质，存储介质包括存储的程序，程序运行时执行上述的图像去网格方法。本专利技术具有以下有益效果：本专利技术的图像去网格方法将图像空间和特征空间相结合，将图像和网格分开，采用Gan进行训练，而后进行特征约束训练，考虑了在图像空间的损失，并且对去网格后的图像在特征空间对齐进行约束，经过此方式训练好的生成器在识别任务时的识别效率有显著提高。除了上面所描述的目的、特征和优点之外，本专利技术还有其它的目的、特征和优点。下面将参照附图，对本专利技术作进一步详细的说明。附图说明构成本申请的一部分的附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1是本专利技术优选实施例的图像去网格方法中生成对抗网络训练过程的示意图；图2是本专利技术优选实施例的图像去网格方法中加入特征空间约束训练过程的示意图；图3是本专利技术优选实施例的图像去网格方法中应用训练好的生成器进行图像去网格处理过程的示意图；图4是本专利技术优选实施例的生成器的网络结构图；图5是本专利技术优选实施例的判别器的网络结构图。具体实施方式需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本专利技术。本专利技术提出一种将图像空间和(识别)特征空间相结合的图像去网格算法。首先是用gan网络的生成器和判别器训练，获取在图像空间较为优的解。第二步，只取生成器，另选取一个训练好的识别网络，固定其参数，和生成器一起训练网络。本专利技术的优选实施例提供了一种图像去网格方法，用于对带网格的图像进行去网格处理，包括：采用由生成器和判别器组成的生成对抗网络模型，分别从带网格的图像、不带网格的原始图像上对应随机抠取的预定大小的块输入生成对抗网络模型进行训练，直到生成器生成的图像为真实；取上一步中的生成器并结合预先训练好的识别网络作为预训练模型，分别从带网格的图像、不带网格的原始图像上抠取包含人脸区域的预定大小的块输入预训练模型的进行特征约束训练，直到生成器生成的图像为真实；采用上一步训练好的生成器对需去本文档来自技高网...

【技术保护点】
1.一种图像去网格方法，用于对带网格的图像进行去网格处理，其特征在于，包括：采用由生成器和判别器组成的生成对抗网络模型，分别从带网格的图像、不带网格的原始图像上对应随机抠取的预定大小的块输入所述生成对抗网络模型进行训练，直到生成器生成的图像为真实；取上一步中的生成器并结合预先训练好的识别网络作为预训练模型，分别从带网格的图像、不带网格的原始图像上抠取包含人脸区域的预定大小的块输入所述预训练模型的进行特征约束训练，直到生成器生成的图像为真实；采用上一步训练好的生成器对需去网格的图像进行去网格处理。

【技术特征摘要】
1.一种图像去网格方法，用于对带网格的图像进行去网格处理，其特征在于，包括：采用由生成器和判别器组成的生成对抗网络模型，分别从带网格的图像、不带网格的原始图像上对应随机抠取的预定大小的块输入所述生成对抗网络模型进行训练，直到生成器生成的图像为真实；取上一步中的生成器并结合预先训练好的识别网络作为预训练模型，分别从带网格的图像、不带网格的原始图像上抠取包含人脸区域的预定大小的块输入所述预训练模型的进行特征约束训练，直到生成器生成的图像为真实；采用上一步训练好的生成器对需去网格的图像进行去网格处理。2.根据权利要求1所述的图像去网格方法，其特征在于，所述采用由生成器和判别器组成的生成对抗网络模型，分别从带网格的图像、不带网格的原始图像上对应随机抠取的预定大小的块输入所述生成对抗网络模型进行训练，直到生成器生成的图像为真实的过程包括：从带网格的图像上随机抠取96*96大小的第一图像块输入生成器，由生成器生成去网格后图像块；从不带网格的原始图像中对应抠取96*96大小的第二图像块，将所述去网格后图像块与所述第二图像块的像素均方差损失作为所述生成器的损失函数；将所述去网格后图像块与所述第二图像块作为判别器的输入，将二者的分类损失作为所述判别器的损失函数；将所述像素均方差损失和所述分类损失的加权损失作为所述生成对抗网络模型的目标函数，迭代训练并优化模型参数使网络输出的损失函数值下降并收敛。3.根据权利要求2所述的图像去网格方法，其特征在于，所述生成器采用的像素均方差损失函数如下公式：其中，Pl表示对应不带网格的第二图像块，PO表示经过生成器处理后的去网格后图像块，LMSE为像素均方差损失，W表示图像块的宽度，H表示图像块的高度；所述判别器采用的分类损失函数如下公式：4.根据权利要求1所述的图像去网格方法，其特征在于，在所述生成对抗网络模型进行训练的过程中，所述生成器和所述判别器依次进行训练，更新一次生成器的参数再跟新一次判别器的参数。5.根据权利要求1所述的图像去网格方法，其特征在于，所述取上一步中的生成器并结合预先训练好的识别网络作为预训练模型，分...

【专利技术属性】
技术研发人员：丁建华，周孺，王栋，
申请(专利权)人：北京智慧眼科技股份有限公司，
类型：发明
国别省市：北京,11