图像处理方法、网络模型训练方法、装置、设备、介质制造方法及图纸

本公开提供了图像处理方法、网络模型训练方法、装置、设备、介质，涉及图像处理领域，尤其涉及计算机视觉、深度学习、图像重建等技术领域。具体实现方案为：通过将待处理文档输入预先训练的擦除网络，对待处理文档图像中第一格式文字进行擦除，获取待处理文档图像对应的最终擦除图像；其中，擦除网络和分割头网络、判别器网络组成擦除网络模型，擦除网络通过使用样本文档图像对对擦除网络模型预先训练获取；样本文档图像对包括样本文档图像以及样本文档图像对应的擦除了第一格式文字的标签图像；擦除网络模型至少根据内容损失函数以及风格损失函数进行训练；内容损失函数和风格损失函数根据样本文档图像的混合图像特征以及标签图像获取。像获取。像获取。

【技术实现步骤摘要】
图像处理方法、网络模型训练方法、装置、设备、介质


[0001]本公开涉及图像处理
，尤其涉及计算机视觉、深度学习、图像重建等
具体而言，本公开涉及一种图像处理方法、网络模型训练方法、装置、设备、介质。

技术介绍

[0002]文字擦除，尤其是特定格式的文字(如手写笔迹文字)擦除在教育、办公、隐私保护、图像编辑等领域应用广泛。
[0003]如对有手写笔迹的办公文档进行手写笔迹擦除，可以一键还原空白文档；对已经作答的试卷图像进行手写笔迹擦除，可以将已经作答的试卷还原为空白试卷，以供学生重新作答以及教育机构进行题库录排、试卷格式转换等。

技术实现思路

[0004]本公开提供了一种图像处理方法、网络模型训练方法、装置、设备、介质。
[0005]根据本公开的第一方面，提供了一种图像处理的方法，该方法包括：
[0006]获取待处理文档图像；
[0007]通过将所述待处理文档输入预先训练的擦除网络，对所述待处理文档图像中第一格式文字进行擦除，获取所述待处理文档图像对应的最终擦除图像；
[0008]其中，所述擦除网络和分割头网络、判别器网络组成擦除网络模型，所述擦除网络通过使用样本文档图像对对所述擦除网络模型预先训练获取；所述样本文档图像对包括样本文档图像以及所述样本文档图像对应的擦除了第一格式文字的标签图像；
[0009]所述擦除网络模型至少根据内容损失函数以及风格损失函数进行训练；所述内容损失函数和风格损失函数根据所述样本文档图像的混合图像特征以及所述标签图像获取；所述混合图像特征根据所述样本文档图像中第一格式文字对应的像素，以及所述擦除网络输出的图像中除第一格式文字对应的像素外的其他像素获取。
[0010]根据本公开的第二方面，提供了一种擦除网络的训练方法，该方法包括：
[0011]获取样本文档图像对，所述样本文档图像对包括样本文档图像以及所述样本文档图像对应的擦除了第一格式文字的标签图像；
[0012]根据所述样本文档图像对对擦除网络模型进行训练，获取擦除网络；
[0013]所述擦除网络和分割头网络、判别器网络组成所述擦除网络模型；所述擦除网络用于对输入所述擦除网络的样本文档图像中的第一格式文字进行擦除，获取所述样本文档图像对应的最终擦除图像；所述分割头网络用于获取所述样本文档图像中第一格式文字对应的掩码；所述判别器网络用于判断所述最终擦除图像中第一格式文字是否擦除；
[0014]所述擦除网络模型至少根据内容损失函数以及风格损失函数进行训练；所述内容损失函数和风格损失函数根据所述样本文档图像的混合图像特征以及所述标签图像获取；所述混合图像特征根据所述样本文档图像中第一格式文字对应的像素，以及所述擦除网络输出的图像中除第一格式文字对应的像素外的其他像素获取。
[0015]根据本公开第三方面，提供了一种图像处理的装置，该装置包括：
[0016]图像模块，用于获取待处理文档图像；
[0017]推理模块，用于通过将所述待处理文档输入预先训练的擦除网络，对所述待处理文档图像中第一格式文字进行擦除，获取所述待处理文档图像对应的最终擦除图像；
[0018]其中，所述擦除网络和分割头网络、判别器网络组成擦除网络模型，所述擦除网络通过使用样本文档图像对对所述擦除网络模型预先训练获取；所述样本文档图像对包括样本文档图像以及所述样本文档图像对应的擦除了第一格式文字的标签图像；
[0019]所述擦除网络模型至少根据内容损失函数以及风格损失函数进行训练；所述内容损失函数和风格损失函数根据所述样本文档图像的混合图像特征以及所述标签图像获取；所述混合图像特征根据所述样本文档图像中第一格式文字对应的像素，以及所述擦除网络输出的图像中除第一格式文字对应的像素外的其他像素获取。
[0020]根据本公开第四方面，提供了一种擦除网络的训练装置，该装置包括：
[0021]样本模块，用于获取样本文档图像对，所述样本文档图像对包括样本文档图像以及所述样本文档图像对应的擦除了第一格式文字的标签图像；
[0022]训练模块，用于根据所述样本文档图像对对擦除网络模型进行训练，获取擦除网络；
[0023]所述擦除网络和分割头网络、判别器网络组成所述擦除网络模型；所述擦除网络用于对输入所述擦除网络的样本文档图像中的第一格式文字进行擦除，获取所述样本文档图像对应的最终擦除图像；所述分割头网络用于获取所述样本文档图像中第一格式文字对应的掩码；所述判别器网络用于判断所述最终擦除图像中第一格式文字是否擦除；
[0024]所述擦除网络模型至少根据内容损失函数以及风格损失函数进行训练；所述内容损失函数和风格损失函数根据所述样本文档图像的混合图像特征以及所述标签图像获取；所述混合图像特征根据所述样本文档图像中第一格式文字对应的像素，以及所述擦除网络输出的图像中除第一格式文字对应的像素外的其他像素获取。
[0025]根据本公开的第五方面，提供了一种电子设备，该电子设备包括：
[0026]至少一个处理器；以及
[0027]与上述至少一个处理器通信连接的存储器；其中，
[0028]存储器存储有可被上述至少一个处理器执行的指令，指令被上述至少一个处理器执行，以使上述至少一个处理器能够执行上述图像处理的方法和/或擦除网络的训练方法。
[0029]根据本公开的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使计算机执行上述图像处理的方法和/或擦除网络的训练方法。
[0030]根据本公开的第七方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现上述图像处理的方法和/或擦除网络的训练方法。
[0031]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0032]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0033]图1是本公开实施例提供的一种图像处理的方法的流程示意图；
[0034]图2是本公开实施例提供的另一种图像处理的方法的部分步骤的流程示意图；
[0035]图3是本公开实施例提供的另一种图像处理的方法的部分步骤的流程示意图；
[0036]图4是本公开实施例提供的另一种图像处理的方法的擦除网络模型的部分网络的结构的示意图；
[0037]图5是本公开实施例提供的另一种图像处理的方法的部分步骤的流程示意图；
[0038]图6是本公开实施例提供的另一种图像处理的方法的部分步骤的流程示意图；
[0039]图7是本公开实施例提供的另一种服图像处理的方法的部分步骤的流程示意图；
[0040]图8是本公开实施例提供的一种擦除网络的训练方法的流程示意图；
[0041]图9本公开实施例提供的一种图像处理的装置的结构示意图；
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理的方法，包括：获取待处理文档图像；通过将所述待处理文档输入预先训练的擦除网络，对所述待处理文档图像中第一格式文字进行擦除，获取所述待处理文档图像对应的最终擦除图像；其中，所述擦除网络和分割头网络、判别器网络组成擦除网络模型，所述擦除网络通过使用样本文档图像对对所述擦除网络模型预先训练获取；所述样本文档图像对包括样本文档图像以及所述样本文档图像对应的擦除了第一格式文字的标签图像；所述擦除网络模型至少根据内容损失函数以及风格损失函数进行训练；所述内容损失函数和风格损失函数根据所述样本文档图像的混合图像特征以及所述标签图像获取；所述混合图像特征根据所述样本文档图像中第一格式文字对应的像素，以及所述擦除网络输出的图像中除第一格式文字对应的像素外的其他像素获取。2.根据权利要求1所述的方法，其中，所述标签图像为所述样本文档图像擦除了第一格式文字、且对所述样本文档图像中除文字部分的背景部分进行去阴影操作后的图像；所述通过将所述待处理文档输入预先训练的擦除网络，对所述待处理文档图像中第一格式文字进行擦除，获取所述待处理文档图像对应的最终擦除图像，包括：通过将所述待处理文档输入预先训练的擦除网络，对所述待处理文档图像中第一格式文字进行擦除，并对所述待处理文档图像中除文字部分的背景部分进行去阴影操作，获取所述待处理文档图像对应的最终擦除图像。3.根据权利要求1所述的方法，其中，所述擦除网络包括特征提取子网络、粗擦除子网络、精细擦除子网络；所述通过将所述待处理文档输入预先训练的擦除网络，对所述待处理文档图像中第一格式文字进行擦除，获取所述待处理文档图像对应的最终擦除图像，包括：通过将所述待处理文档图像输入预先训练的特征提取子网络，对所述待处理文档图像进行特征提取，获取所述待处理文档图像的图像特征；通过将所述图像特征输入预先训练的粗擦除子网络，根据所述图像特征对所述待处理文档图像中第一格式文字进行擦除，获取所述待处理文档图像对应的粗擦除图像；通过将所述粗擦除图像输入预先训练的精细擦除子网络，对所述粗擦除图像中第一格式文字进行擦除，获取所述待处理文档图像对应的最终擦除图像。4.根据权利要求3所述的方法，其中，所述通过将所述待处理文档图像输入预先训练的特征提取子网络，对所述待处理文档图像进行特征提取，获取所述待处理文档图像的图像特征，包括：通过将所述待处理文档图像输入预先训练的特征提取子网络，对所述待处理文档图像进行图像特征提取，获取所述待处理文档图像对应的不同尺度的尺度图像特征；对所述尺度图像特征对应的下一尺度的尺度图像特征进行上采样获取上采样图像特征；根据所述尺度图像特征以及所述上采样图像特征获取所述待处理文档图像的图像特征。5.根据权利要求4所述的方法，其中，所述粗擦除子网络包括与特征提取子网络对应的编码器；
所述通过将所述图像特征输入预先训练的粗擦除子网络，根据所述图像特征对所述待处理文档图像中第一格式文字进行擦除，获取所述待处理文档图像对应的粗擦除图像，包括：将所述图像特征输入所述编码器，对所述图像特征进行上采样获取不同尺度的尺度图像特征；对所述尺度图像特征对应的下一尺度的尺度图像特征进行下采样获取下采样图像特征；根据所述尺度图像特征以及所述下采样图像特征获取所述尺度图像特征对应的最终图像特征；根据所述最终图像特征获取所述待处理文档图像对应的粗擦除图像。6.根据权利要求3所述的方法，其中，所述精细擦除子网络包括解码器和编码器；所述通过将所述粗擦除图像输入预先训练的精细擦除子网络，对所述粗擦除图像中第一格式文字进行擦除，获取所述待处理文档图像对应的最终擦除图像，包括：通过将所述粗擦除图像输入所述解码器，获取所述粗擦除图像对应的不同尺度的第一尺度图像特征；对所述第一尺度图像特征对应的下一尺度的第一尺度图像特征进行上采样获取第一上采样图像特征；根据所述第一尺度图像特征以及所述第一上采样图像特征获取所述粗擦除图像对应的图像特征；将所述粗擦除图像对应的图像特征输入所述编码器，对所述粗擦除图像对应的图像特征进行上采样，获取不同尺度的第二尺度图像特征；对所述第二尺度图像特征对应的下一尺度的第二尺度图像特征进行下采样获取第二下采样图像特征；根据所述第二尺度图像特征以及所述第二下采样图像特征获取所述第二尺度图像特征对应的最终图像特征；通过所述最终图像特征获取所述待处理文档图像对应的最终擦除图像。7.根据权利要求1所述的方法，其中，所述待处理文档图像为为至少具有第一格式文字和第二格式文字的文档的图像。8.根据权利要求7所述的方法，其中，所述第一格式文字为手写格式文字；所述第二格式文字为印刷体格式文字。9.一种擦除网络的训练方法，包括：获取样本文档图像对，所述样本文档图像对包括样本文档图像以及所述样本文档图像对应的擦除了第一格式文字的标签图像；根据所述样本文档图像对对擦除网络模型进行训练，获取擦除网络；所述擦除网络和分割头网络、判别器网络组成所述擦除网络模型；所述擦除网络用于对输入所述擦除网络的样本文档图像中的第一格式文字进行擦除，获取所述样本文档图像对应的最终擦除图像；所述分割头网络用于获取所述样本文档图像中第一格式文字对应的掩码；所述判别器网络用于判断所述最终擦除图像中第一格式文字是否擦除；所述擦除网络模型至少根据内容损失函数以及风格损失函数进行训练；所述内容损失
函数和风格损失函数根据所述样本文档图像的混合图像特征以及所述标签图像获取；所述混合图像特征根据所述样本文档图像中第一格式文字对应的像素，以及所述擦除网络输出的图像中除第一格式文字对应的像素外的其他像素获取。10.根据权利要求9所述的方法，其中，所述标签图像为...

【专利技术属性】
技术研发人员：刘腾龙，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：