图像文字擦除方法技术

本发明专利技术属于图像处理技术领域，且公开了图像文字擦除方法，具体操作步骤如下：S1、利用合成数据集训练图像笔划模型，其中合成数据通过在背景图像上贴上文字生成文字图像；S2、利用未标注的真实场景文字文字图像预训练网络模型。本发明专利技术提出了一种利用文字笔划的基于自监督学习的图像文字擦除方法，将图像笔划模型的输出与原始图像合并输入到图像文字擦除模型中，经过迭代式的擦除策略得到最后的擦除结果；此外，考虑到文字擦除与文字检测有较强的相关性，设计一种同时进行文字擦除与文字检测任务的神经网络模型，本发明专利技术可以解决现阶段文字擦除方法过度依赖于合成数据、擦除结果不自然以及不能完全擦除文字的问题。然以及不能完全擦除文字的问题。然以及不能完全擦除文字的问题。

【技术实现步骤摘要】
图像文字擦除方法


[0001]本专利技术属于图像处理
，具体为图像文字擦除方法。

技术介绍

[0002]图像文字擦除，是指对图像上的文字进行擦除，利用背景内容填充文字区域，图像文字擦除在隐私保护，身份信息篡改，数据增广等领域有着广泛的应用和研究前景。
[0003]现有技术中该类图像文字擦除方法大致包括三类：
[0004]1、利用Photoshop等工具擦除文字图像上的文字内容是最直观的一种手段，这类工具利用文字周边的背景内容替换文字信息，达到文字去除的效果；该方法利用人工手段进行图像文字的擦除，会耗费大量的时间与精力，擦除速度完全取决于人工；
[0005]2、现阶段主流的文字擦除方法采用编码器
‑
解码器网络，将带文字的图像作为初始输入，擦除文字的图像作为训练目标，训练数据采用合成的数据；该方法缺少文字定位信息，不能很好的确定文字所在的区域位置，会残留大量的未擦除的文字内容。同时，合成数据与真实场景的数据间存在偏差，利用合成数据训练的文字擦除器鲁棒性不够好；
[0006]3、现阶段另一主流的文字擦除方法采用二阶段的方式，首先利用文字检测器获取文字的区域，之后利用图像填充方法对文字区域进行背景内容的填充；二阶段的文字擦除方法需要分别训练文字检测模型与文字擦除模型，流程较为繁琐，同时，相比单阶段的文字擦除方法，二阶段的方法生成的擦除图像在文字区域部分不太真实自然。
[0007]因此针对上述问题，本申请提出了新的图像文字擦除方法。

技术实现思路

[0008]本专利技术的目的在于提供图像文字擦除方法，以解决上述
技术介绍
中提出的现阶段图像文字擦除方法过于依赖合成数据，擦除结果不自然以及图像文字残留的问题。
[0009]为了实现上述目的，本专利技术提供如下技术方案：图像文字擦除方法，具体操作步骤如下：
[0010]S1、利用合成数据集训练图像笔划模型，其中合成数据通过在背景图像上贴上文字生成文字图像；
[0011]S2、利用未标注的真实场景文字图像预训练网络模型；
[0012]S3、初始的擦除结果上面会残留部分文字，因此采用迭代式策略擦除文字，将初始的擦除结果和图像笔划继续合并输入到图像擦除模型中，如此反复直到完成文字的擦除；
[0013]S4、一般地，增强的图像变体保留了原始图像的文字信息，将图像变体与图像文字擦除的结果相减获取到的图像笔划是一致的，利用该隐式信息自监督训练文字擦除模型；
[0014]S5、利用带标注的真实文字图像进一步的进行模型的训练，原始图像经过图像笔划模型与图像文字擦除模型，经过迭代式的擦除操作得到最后的擦除结果，将得到的擦除结果与真实标签进行对比，得到最后的擦除模型。
[0015]优选地，S1步骤中图像笔划模型所需的标签通过文字图像减去背景图像计算得
到，像素值差值得绝对值大于阈值的部分设置为0，小于阈值的部分设置为1。
[0016]优选地，S2步骤中将图像变体输入到S1步骤中训练得到的图像笔划模型得到图像笔划结果，并将图像笔划结果和增强的图像合并输入到图像文字擦除模型中，得到初始的擦除结果。
[0017]优选地，S4步骤中利用自监督学习的方法进行模型训练时，图像笔划模型的参数是固定的，仅仅训练图像文字擦除模型。
[0018]优选地，S5步骤中利用带标注的真实文字图像进一步进行模型的训练时，图像笔划模型的参数与图像文字擦除模型的擦除共同训练。
[0019]本专利技术的有益效果如下：
[0020]1、本专利技术提出了一种利用文字笔划的基于自监督学习的图像文字擦除方法与系统，将图像笔划模型的输出与原始图像合并输入到图像文字擦除模型中，经过迭代式的擦除策略得到最后的擦除结果。其中，图像笔划模型利用合成数据进行训练；图像文字擦除模型利用自监督学习的方法在无标记的真实数据上进行训练，之后将训练后的模型权重作为初始权重在带标注的真实数据上进一步的训练；
[0021]此外，考虑到文字擦除与文字检测有较强的相关性，设计一种同时进行文字擦除与文字检测任务的神经网络模型，本专利技术可以解决现阶段文字擦除方法过度依赖于合成数据以及不能完全擦除文字的问题。同时，通过新颖的神经网络可以同时进行文字擦除与文字检测。
附图说明
[0022]图1为本专利技术基于图像笔划的文字擦除方法流程图；
[0023]图2为本专利技术残差连接示意图；
[0024]图3为本专利技术采用迭代式策略的图像文字擦除方法流程图；
[0025]图4为本专利技术采用自监督学习方法的图像文字擦除模型流程图；
[0026]图5为本专利技术文字擦除与文字检测共同建模的方法流程图；
[0027]图6为本专利技术基于图像笔划的文字擦除与文字检测共同建模的方法流程图。
具体实施方式
[0028]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0029]实施例一
[0030]基于图像笔划的文字擦除模型根据文字位置信息准确的抹去图像文字，主要流程如图1与2所示，详细步骤如下所示：
[0031]1)利用图像笔划模型得到文字图像的笔划结果；
[0032]其中，图像笔划模型利用合成数据进行模型的训练；
[0033]2)图像笔划模型采用U
‑
Net模型架构，其中包括笔划编码器与笔划解码器，其中，笔划编码器可以采用ResNet，VGGNet，Mob i l eNet，Eff i c i entNet等常见的特征提取
网络；笔划解码器对编码器获取到的特征进行上采样操作，直到恢复与原图像一致分辨率的图像；上采样操作的时候，采用跳跃连接的方式，将对应编码器层的特征按像素位置相加来丰富视觉特征，达到较好的结果，上采样的操作可以有插值算法，反卷积操作等扩大图像分辨率的操作；
[0034]3)图像笔划结果和文字图像沿通道维度合并输入到图像文字擦除模型中，经过处理得到最后的结果；
[0035]其中，图像文字擦除模型利用合成数据以及带标注的真实文字图像进行训练；
[0036]4)图像文字擦除模型同样采用U
‑
Net网络结构，包括擦除编码器和擦除解码器，相似地，擦除编码器同样可以ResNet，VGGNet，Mob i l eNet，Eff i c i entNet等常见的特征提取网络，擦除解码器同样对编码特征进行上采样处理，在擦除模型中，采用残差连接的方式，将编码器的特征先用卷积操作进行处理，最后在上采样的解码特征上进行特征的相加。
[0037]实施例二
[0038]本实例相较实例一而言，采用了迭代式策略进行图像文字的擦除，前一阶段的擦除结果与图像笔划结果合并作为后一阶段的输入。相比于实例一，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.图像文字擦除方法，其特征在于，具体操作步骤如下：S1、利用合成数据集训练图像笔划模型，其中合成数据通过在背景图像上贴上文字生成文字图像；S2、利用未标注的真实场景文字图像预训练网络模型；S3、初始的擦除结果上面会残留部分文字，因此采用迭代式策略擦除文字，将初始的擦除结果和图像笔划继续合并输入到图像擦除模型中，如此反复直到完成文字的擦除；S4、一般地，增强的图像变体保留了原始图像的文字信息，将图像变体与图像文字擦除的结果相减获取到的图像笔划是一致的，利用该隐式信息自监督训练文字擦除模型；S5、利用带标注的真实文字图像进一步的进行模型的训练，原始图像经过图像笔划模型与图像文字擦除模型，经过迭代式的擦除操作得到最后的擦除结果，将得到的擦除结果与真实标签进行对比，得到最后的擦除模型。2.根据权利要求1...

【专利技术属性】
技术研发人员：杜响成，周钊，郑莹斌，
申请(专利权)人：上海兑观信息科技技术有限公司，
类型：发明
国别省市：