一种基于生成式对抗网络的文字图像修复方法技术

本发明专利技术公开了一种基于生成式对抗网络的文字图像修复方法，包括下列步骤：S1：搜集含有铭文的图像和随机的遮盖图像，进行尺度归一化生成k

【技术实现步骤摘要】
一种基于生成式对抗网络的文字图像修复方法


[0001]本专利技术属于文物修复
，具体涉及一种基于生成式对抗网络的文字图像修复方法。

技术介绍

[0002]图像修复是图像处理中极其重要的部分。图像修复根据图像完好部分的信息，来填补有遮挡、破损或是多余的部分。可用于去除照片的遮挡，修复破损的文物图像，图像数据预处理等领域。
[0003]传统的图像修复技术往往需要缺陷部分的形状特定，并且纹理重复简单，这局限了图像修复的应用场景。随着计算机运算能力的提升和算法模型的成熟，深度学习技术在计算机视觉的诸多领域取得了丰硕的成果。蒙特利尔大学的学者Ian Goodfellow于2014年提出“生成式对抗网络”的概念，极大地促进了生成模型的发展，各种演进的模型在近两年应运而生。
[0004]生成式对抗网络基本思想源自博弈论，由一个生成器和一个鉴别器构成，通过对抗学习的方式来训练。生成模型捕捉样本数据的分布，判别模型是一个二分类器，判别输入的是真实数据还是生成的样本。通过对大量同类数据的学习，拟合出数据的概率分布，并生成同类型的数据，这与图像修复的目标相契合。

技术实现思路

[0005]本专利技术针对现有技术的不足提供一种基于生成式对抗网络的文字图像修复方法，其目的在于克服传统图像修复技术要求待修复部分的形状特定、纹理重复简单的缺点，引入先进的生成式对抗网络概念，实现古文字图像的修复。
[0006]本专利技术采用的技术方案是：
[0007]一种基于生成式对抗网络的文字图像修复方法，包括下列步骤：
[0008]S1：搜集含有铭文的图像和随机的遮盖图像，进行尺度归一化生成k
×
k像素的图像，建立铭文图像数据库，其中k取正整数；
[0009]S2：构建一种生成式对抗网络；
[0010]S3：以铭文图像数据库中的图像作为训练样本，对生成式对抗网络进行训练，优化生成式对抗网络中生成器和鉴别器的参数；
[0011]S4：将服从正态分布的随机向量输入到S3中已训练好的生成器，生成文字图像，将待修复文字图像的完好无损区域与生成文字图像的相应区域进行对比，不断调整输入向量，直至两者相似，最终将待修复的文字图像中被遮挡或损坏区域的像素值用生成文字图像的对应区域的像素值来替换。
[0012]可选的，S1具体包括：
[0013]从电子版古籍中扫描截取古文字的图像，不规则的mask遮盖图像数据集使用NVIDIA Irregular Mask Dataset:Testing Set；二者拼接成待修复的破损文字图像；之后
将破损文字图像通过canny边缘检测算法得到其边缘图像，一同组成训练网络的输入图像信息。
[0014]可选的，所述的S2中构建的生成式对抗网络包括1个生成器G和1个鉴别器D，生成器的输出与鉴别器的输入相连，鉴别器的判别结果再反馈至生成器；
[0015]生成器部分将所有的普通卷积替换成了门控卷积，采用了粗细两级网络；粗网络由门控卷积和膨胀门控卷积构成，采用了编解码结构进行上采样与下采样，用来修复一个粗略的结果；细网络由两个分支构成，在一个分支中加入了基于上下文的注意力机制；
[0016]鉴别器使用了SN
‑
PatchGAN网络，用于训练自由形式的图像修复网络。
[0017]可选的，所述的S2中构建的生成式对抗网络的损失函数由对抗损失函数、重构损失函数和感知损失函数构成；
[0018]其中GAN网络部分用到的对抗损失函数L
GAN
，其生成器G为：
[0019][0020]鉴别器D为：
[0021][0022]其中，x表示真实数据样本，z表示噪声，Pdata(x)和Pz(z)分别表示在数据集中的原图X中定义的真实数据x概率分布和潜在空间Z上定义的潜在变量z概率分布，D(x)表示将数据x喂入判别器D返回的值，G(x)表示将噪声z喂入生成器G返回的值；
[0023]重构损失函数为：
[0024][0025]其中y
i
为第i个样本的真实值ground truth；f(x
i
)为本模型输出，即第i个样本的预测值；n为样本个数；
[0026]感知损失函数为：
[0027][0028]其中φ为损失网络，j表示网络的第j层，C
j
、H
j
和W
j
分别表示第j层feature_map的通道数、高和宽；
[0029]损失函数为：
[0030]L＝λ1L
GAN
+λ2L
SmoothL1
+λ3L
perceptual
；
[0031]λ1、λ2和λ3分别表示对抗损失函数、重构损失函数和感知损失函数的权重值。
[0032]可选的，所述的损失网络φ采用预训练的VGG16网络，提取原图像与修复图像在VGG16网络中各个卷积层输出的特征，构造感知损失。
[0033]可选的，所述的S3和S4具体包括：
[0034]将待处理文字图像I输入粗修复网络，通过边缘检测算法得到文字笔画边缘图像I
‑
edge及标识缺失像素位置的掩膜M；
[0035]掩膜M在通道维度被拼接在待处理文字图像I和文字笔画边缘图像I
‑
edge的后面，形成4通道的[I,M]和[I
‑
edge,M]后，作为粗网络的输入，分别通过编码器
‑
解码器输出的修
复结果结合后得到粗修复图像I
‑
rough，将粗修复图像I
‑
rough与掩膜M拼接形成[I
‑
rough,M]送入细化网络的生成器，修复后得到修复图像I
‑
inpaint＝G([I
‑
rough,M])；
[0036]判别器D的输入是修复图像I
‑
inpaint和对应的真实完整图像I
‑
gt，判别器D对修复图像I
‑
inpaint和对应的真实完整图像I
‑
gt分别评分，并区分。
[0037]可选的，所述的待处理文字图像I的尺寸为512
×
512，文字笔画边缘图像I
‑
edge为与待处理文字图像I一一对应的二值图，文字笔画边缘图像I
‑
edge上像素值为1的部分，对应待处理文字图像I中文字字形边缘部分，掩膜M是二值单通道掩膜，宽高与待处理文字图像I相同，掩膜M上每个像素的值为0或1，分别对应图像上的完整像素和缺失像素。
[0038]本专利技术的优点为：
[0039]本专利技术本专利技术通过引入生成式对抗网络的方法，较好地模拟文字图像的结构特征，提高了文字图片修复结果的准确性与质量，有效地修复破损或被污染的文字图像，为图像修复提供了一种新的方法和途径，在图像修复算法本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于生成式对抗网络的文字图像修复方法，其特征在于，包括下列步骤：S1：搜集含有铭文的图像和随机的遮盖图像，进行尺度归一化生成k
×
k像素的图像，建立铭文图像数据库，其中k取正整数；S2：构建一种生成式对抗网络；S3：以铭文图像数据库中的图像作为训练样本，对生成式对抗网络进行训练，优化生成式对抗网络中生成器和鉴别器的参数；S4：将服从正态分布的随机向量输入到S3中已训练好的生成器，生成文字图像，将待修复文字图像的完好无损区域与生成文字图像的相应区域进行对比，不断调整输入向量，直至两者相似，最终将待修复的文字图像中被遮挡或损坏区域的像素值用生成文字图像的对应区域的像素值来替换。2.根据权利要求1所述的基于生成式对抗网络的文字图像修复方法，其特征在于，S1具体包括：从电子版古籍中扫描截取古文字的图像，不规则的mask遮盖图像数据集使用NVIDIA Irregular Mask Dataset:Testing Set；二者拼接成待修复的破损文字图像；之后将破损文字图像通过canny边缘检测算法得到其边缘图像，一同组成训练网络的输入图像信息。3.根据权利要求1或2所述的基于生成式对抗网络的文字图像修复方法，其特征在于，所述的S2中构建的生成式对抗网络包括1个生成器G和1个鉴别器D，生成器的输出与鉴别器的输入相连，鉴别器的判别结果再反馈至生成器；生成器部分将所有的普通卷积替换成了门控卷积，采用了粗细两级网络；粗网络由门控卷积和膨胀门控卷积构成，采用了编解码结构进行上采样与下采样，用来修复一个粗略的结果；细网络由两个分支构成，在一个分支中加入了基于上下文的注意力机制；鉴别器使用了SN
‑
PatchGAN网络，用于训练自由形式的图像修复网络。4.根据权利要求1或2所述的基于生成式对抗网络的文字图像修复方法，其特征在于，所述的S2中构建的生成式对抗网络的损失函数由对抗损失函数、重构损失函数和感知损失函数构成；其中GAN网络部分用到的对抗损失函数L
GAN
，其生成器G为：鉴别器D为：其中，x表示真实数据样本，z表示噪声，Pdata(x)和Pz(z)分别表示在数据集中的原图X中定义的真实数据x概率分布和潜在空间Z上定义的潜在变量z概率分布，D(x)表示将数据x喂入判别器D返回的值，G(x)表示将噪声z喂入生成器G返回的值；重构损失函数为：其中y
i
为第i个样本的真实值ground truth；f(x
i
)为本模型输出，即第i个样本的预测值；n为样本个数；感知损失函数为：

【专利技术属性】
技术研发人员：贺小伟，刘皓楠，何雪磊，朱家欣，
申请(专利权)人：西北大学，
类型：发明
国别省市：