文本合成方法、装置及电子设备制造方法及图纸

本发明专利技术涉及文本处理领域，具体提供一种文本合成方法、装置及电子设备，旨在解决现有的手写文本合成方法难以控制合成文本风格导致的最终合成文本效果较差的技术问题。为此目的，本发明专利技术的文本合成方法包括下述步骤：获取手写风格图像、待迁移文本和提供风格信息的特征向量；基于手写风格图像和文本擦除模型确定候选背景库；基于待迁移文本、特征向量和文本合成模型确定手写体文本库；从候选背景库和手写体文本库中分别获取一张背景图像和手写体合成文本图像；对背景图像和手写体合成文本图像进行融合，得到融合图像。得到融合图像。得到融合图像。

【技术实现步骤摘要】
文本合成方法、装置及电子设备


[0001]本专利技术涉及文本处理领域，具体提供一种文本合成方法、装置及电子设备。

技术介绍

[0002]目前，传统的手写文本合成方法包括使用手写体字体库的方法和使用手写体单字库拼接的方法。第一，使用手写体字体库的方法类似印刷体可以快速合成大量样本，但受限于手写体字体库本身的局限性，无法控制书写的风格。第二，手写体单字库拼接的方法可以解决使用手写体字体库的方法字形单一的情况，可以产生较为潦草的书写风格，但这种方法首先需要收集手写体单字底库，这往往会耗费巨大的时间成本和金钱成本，另外这种方法生成文本风格不可控，最终的合成文本效果较差。
[0003]相应地，本领域需要一种新的文本合成方案来解决上述问题。

技术实现思路

[0004]为了克服上述缺陷，提出了本专利技术，以提供解决或至少部分地解决现有的手写文本合成方法难以控制合成文本风格导致最终合成文本效果较差的技术问题。本专利技术提供了一种文本合成方法、装置及电子设备。
[0005]在第一方面，本专利技术提供一种文本合成方法，其特征在于，包括下述步骤：获取手写风格图像、待迁移文本和提供风格信息的特征向量；基于所述手写风格图像和文本擦除模型确定候选背景库；基于所述待迁移文本、特征向量和文本合成模型确定手写体文本库；从所述候选背景库和手写体文本库中分别获取一张背景图像和手写体合成文本图像；对所述背景图像和手写体合成文本图像进行融合，得到融合图像。
[0006]在一个实施方式中，基于所述手写风格图像和文本擦除模型确定候选背景库包括：将所述手写风格图像划分为多个手写切片；将所述多个手写切片依次输入所述文本擦除模型，得到初始背景库；对所述初始背景库进行预处理，得到候选背景库。
[0007]在一个实施方式中，对所述初始背景库进行预处理，得到候选背景库包括：基于预识别模型判断所述初始背景库中每一背景图像是否包含字符；在所述背景图像不包含字符的情况下，基于不包含字符的所述背景图像得到候选背景库；在所述背景图像包含字符的情况下，对包含字符的所述背景图像进行过滤操作，得到候选背景库。
[0008]在一个实施方式中，在所述背景图像包含字符的情况下，对包含字符的所述背景图像进行过滤操作，得到候选背景库包括：对包含字符的所述背景图像进行归一化操作，得到归一化背景图像；计算所述归一化背景图像中每个字符所占的平均宽度；基于所述归一化背景图像中每个字符所占的平均宽度确定宽度阈值；在所述归一化背景图像中每个字符所占的平均宽度大于宽度阈值的情况下，基于所述归一化背景图像得到候选背景库。
[0009]在一个实施方式中，基于所述归一化背景图像中每个字符所占的平均宽度确定宽度阈值包括：基于所述每个字符所占的平均宽度分别确定所述归一化背景图像中所有字符的平均值和中值；在所述平均值小于中值的情况下，将所述平均值作为宽度阈值，在所述平
均值不小于中值的情况下，将所述中值作为宽度阈值。
[0010]在一个实施方式中，所述文本合成模型包括生成器、判别器和识别器，所述识别器包含CRNN网络；基于所述待迁移文本、特征向量和文本合成模型确定手写体文本库包括：将所述待迁移文本和所述特征向量输入所述文本合成模型，得到手写体合成文本图像；基于所述手写体合成文本图像得到手写体文本库。
[0011]在一个实施方式中，对所述背景图像和手写体合成文本图像进行融合包括：基于泊松融合算法对所述背景图像和手写体合成文本图像进行融合，得到融合图像。
[0012]在第二方面，本专利技术提供一种文本合成装置，包括：第一获取模块，被配置为获取手写风格图像、待迁移文本和提供风格信息的特征向量；第一确定模块，被配置为基于所述手写风格图像和文本擦除模型确定候选背景库；第二确定模块，被配置为基于所述待迁移文本、特征向量和文本合成模型确定手写体文本库；第二获取模块，被配置为从所述候选背景库和手写体文本库中分别获取一张背景图像和手写体合成文本图像；融合模块，被配置为对所述背景图像和手写体合成文本图像进行融合，得到融合图像。
[0013]在第三方面，提供一种电子设备，该电子设备包括处理器和存储装置，所述存储装置适于存储多条程序代码，所述程序代码适于由所述处理器加载并运行以执行前述任一项所述的文本合成方法。
[0014]在第四方面，提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行前述任一项所述的文本合成方法。
[0015]本专利技术上述一个或多个技术方案，至少具有如下一种或多种有益效果：
[0016]本专利技术中的文本合成方法，首先基于获取的手写风格图像和文本擦除模型，获得了包含高质量背景图像的候选背景库，接着基于待迁移文本、特征向量和文本合成模型生成包含风格多变的手写体合成文本图像的手写体文本库，其次从候选背景库和手写体文本库分别抽取一张背景图像和手写体合成文本图像并融合，得到融合图像，实现了利用特征向量和文本合成模型来控制文本内容的风格的效果，提高了融合图像的质量。
[0017]本申请在基于文本擦除模型得到初始背景库的基础上，继续对初始背景库进行预处理，具体是判断是否包含文字和判断每个字符所占的平均宽度值的两次筛选，从而去除了图像背景之外的杂质干扰，进一步保证了背景图像的有效性，提高了最终获得的候选背景库的质量。
附图说明
[0018]参照附图，本专利技术的公开内容将变得更易理解。本领域技术人员容易理解的是：这些附图仅仅用于说明的目的，而并非意在对本专利技术的保护范围组成限制。此外，图中类似的数字用以表示类似的部件，其中：
[0019]图1是根据本专利技术的一个实施例的文本合成方法的主要步骤流程示意图；
[0020]图2是根据本专利技术的一个实施例的对初始背景库进行预处理的流程示意图；
[0021]图3是根据本专利技术的一个实施例的利用文本合成模型生成手写体合成文本图像的结构示意图；
[0022]图4是根据本专利技术的一个实施例的文本合成方法整体流程图；
[0023]图5是根据本专利技术的一个实施例的文本合成装置的主要结构框图示意图。
[0024]附图标记列表：
[0025]11：第一获取模块；12：第一确定模块；13：第二确定模块；14：第二获取模块；15：融合模块。
具体实施方式
[0026]下面参照附图来描述本专利技术的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本专利技术的技术原理，并非旨在限制本专利技术的保护范围。
[0027]在本专利技术的描述中，“模块”、“处理器”可以包括硬件、软件或者两者的组合。一个模块可以包括硬件电路，各种合适的感应器，通信端口，存储器，也可以包括软件部分，比如程序代码，也可以是软件和硬件的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。非暂时性的计算机可读存本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文本合成方法，其特征在于，包括下述步骤：获取手写风格图像、待迁移文本和提供风格信息的特征向量；基于所述手写风格图像和文本擦除模型确定候选背景库；基于所述待迁移文本、特征向量和文本合成模型确定手写体文本库；从所述候选背景库和手写体文本库中分别获取一张背景图像和手写体合成文本图像；对所述背景图像和手写体合成文本图像进行融合，得到融合图像。2.根据权利要求1所述的文本合成方法，其特征在于，基于所述手写风格图像和文本擦除模型确定候选背景库包括：将所述手写风格图像划分为多个手写切片；将所述多个手写切片依次输入所述文本擦除模型，得到初始背景库；对所述初始背景库进行预处理，得到候选背景库。3.根据权利要求2所述的文本合成方法，其特征在于，对所述初始背景库进行预处理，得到候选背景库包括：基于预识别模型判断所述初始背景库中每一背景图像是否包含字符；在所述背景图像不包含字符的情况下，基于不包含字符的所述背景图像得到候选背景库；在所述背景图像包含字符的情况下，对包含字符的所述背景图像进行过滤操作，得到候选背景库。4.根据权利要求3所述的文本合成方法，其特征在于，在所述背景图像包含字符的情况下，对包含字符的所述背景图像进行过滤操作，得到候选背景库包括：对包含字符的所述背景图像进行归一化操作，得到归一化背景图像；计算所述归一化背景图像中每个字符所占的平均宽度；基于所述归一化背景图像中每个字符所占的平均宽度确定宽度阈值；在所述归一化背景图像中每个字符所占的平均宽度大于宽度阈值的情况下，基于所述归一化背景图像得到候选背景库。5.根据权利要求4所述的文本合成方法，其特征在于，基于所述归一化背景图像中每个字符所占的平均宽度确定宽度阈值包括：基于所述每个字符所...

【专利技术属性】
技术研发人员：许超，
申请(专利权)人：上海云从企业发展有限公司，
类型：发明
国别省市：