本发明专利技术提供一种手写文本图像生成方法、装置、电子设备和存储介质，其中方法包括：确定内容文本和参考手写文本图像；基于手写文本图像生成模型，应用所述参考手写文本图像中相邻字符之间的位置关系，分别对所述内容文本和参考手写文本图像进行特征提取，并应用提取得到的特征生成目标手写文本图像。本发明专利技术实施例提供的手写文本图像生成方法、装置、电子设备和存储介质，相比于通过逐字符生成的方式，充分考虑到参考手写文本图像中相邻两字符之间的结构关联性，从而能够得到质量较高的目标手写文本图像，提高了手写文本图像生成的视觉合理性。性。性。
【技术实现步骤摘要】
手写文本图像生成方法、装置、电子设备和存储介质
[0001]本专利技术涉及计算机视觉
，尤其涉及一种手写文本图像生成方法、装置、电子设备和存储介质。
技术介绍
[0002]在手写文本生成领域，渲染笔迹风格多样化的手写文本图像受到越来越广泛的关注。生成的手写文本图像不仅能够减轻字体设计者的负担，还能增广光学字符识别任务的数据，减少数据标注成本。
[0003]目前，主要通过逐个字符的字体风格迁移的方法，获得具有源文本内容的目标手写文本图像。但针对包含多个字符的文本行或者字符之间相互耦合的艺术字，通过逐字符字体风格迁移的方式往往会丢失部分特征，导致生成的文本图像质量不高，同时影响了光学字符识别任务的性能提升。
[0004]因此，如何生成高质量的手写文本图像是亟需解决的问题。
技术实现思路
[0005]本专利技术提供一种手写文本图像生成方法、装置、电子设备和存储介质，用以解决现有技术中生成的文本图像质量不高的缺陷。
[0006]本专利技术提供一种手写文本图像生成方法，包括：
[0007]确定内容文本和参考手写文本图像；
[0008]基于手写文本图像生成模型，应用所述参考手写文本图像中相邻字符之间的位置关系，分别对所述内容文本和参考手写文本图像进行特征提取，并应用提取得到的特征生成目标手写文本图像；
[0009]其中，所述手写文本图像生成模型是基于样本内容文本、样本参考手写文本图像以及标签手写文本图像训练得到的。
[0010]根据本专利技术提供的手写文本图像生成方法，所述基于手写文本图像生成模型，应用所述参考手写文本图像中相邻字符之间的位置关系，分别对所述内容文本和参考手写文本图像进行特征提取，并应用提取得到的特征生成目标手写文本图像，包括：
[0011]基于所述手写文本图像生成模型中的第一识别器，对所述参考手写文本图像中字符的内容和位置进行识别，得到所述参考手写文本图像的字符位置和空白字符位置；
[0012]基于所述手写文本图像生成模型中的内容特征调整层，应用所述参考手写文本图像的空白字符位置的特征图，对所述内容文本的原始内容特征进行调整，得到所述内容文本的内容特征；
[0013]基于所述手写文本图像生成模型中的风格特征调整层，应用所述参考手写文本图像的字符位置的特征图，对所述参考手写文本图像的原始风格特征进行调整，得到所述参考手写文本图像的风格特征；
[0014]基于所述手写文本图像生成模型中的解码器，应用所述内容特征和风格特征，生
成所述目标手写文本图像。
[0015]根据本专利技术提供的手写文本图像生成方法，所述基于所述手写文本图像生成模型中的内容特征调整层，应用所述参考手写文本图像的空白字符位置特征，对所述内容文本的原始内容特征进行调整，得到所述内容文本的内容特征，包括：
[0016]基于所述内容特征调整层中的间距特征提取层，对所述空白字符位置的特征图进行间距特征提取，得到所述参考手写文本图像中相邻字符之间的间距特征；
[0017]基于所述内容特征调整层中的间距特征调整层，应用所述间距特征，调整所述原始内容特征中相邻字符之间的间距，得到所述内容文本的内容特征。
[0018]根据本专利技术提供的手写文本图像生成方法，所述基于所述手写文本图像生成模型中的内容特征调整层，应用所述参考手写文本图像的空白字符位置的特征图，对所述内容文本的原始内容特征进行调整，得到所述内容文本的内容特征，之前还包括：
[0019]基于所述手写文本图像生成模型中的部件结构字典，确定所述内容文本中各字符的部件索引和结构索引；
[0020]基于所述手写文本图像生成模型中的内容编码器，应用所述内容文本中各字符的部件索引和结构索引，对所述内容文本进行内容编码，得到所述内容文本的原始内容特征。
[0021]根据本专利技术提供的手写文本图像生成方法，所述基于所述手写文本图像生成模型中的内容编码器，应用所述内容文本中各字符的部件索引和结构索引，对所述内容文本进行内容编码，得到所述内容文本的原始内容特征，包括：
[0022]基于所述内容编码器中的字符嵌入层，应用所述内容文本中各字符的部件索引和结构索引，对所述内容文本的各字符进行内容编码，得到所述各字符的字符嵌入特征；
[0023]基于所述内容编码器中的字符拼接层，对所述各字符的字符嵌入特征进行拼接，得到所述内容文本的原始内容特征。
[0024]根据本专利技术提供的手写文本图像生成方法，所述手写文本图像生成模型是基于如下步骤训练得到的：
[0025]将所述样本内容文本和样本参考手写文本图像输入至初始模型中，得到所述初始模型输出的生成手写文本图像；
[0026]基于所述生成手写文本图像与所述标签手写文本图像在像素特征上的差异、在书写风格上的差异，所述生成手写文本图像与所述内容文本在文本内容上的差异，以及判别器对于所述生成手写文本图像的判别结果中的至少一种，对所述初始模型进行训练，得到所述手写文本图像生成模型。
[0027]本专利技术还提供一种手写文本图像生成装置，包括：
[0028]文本和图像确定单元，用于确定内容文本和参考手写文本图像；
[0029]目标图像生成单元，用于基于手写文本图像生成模型，应用所述参考手写文本图像中相邻字符之间的位置关系，分别对所述内容文本和参考手写文本图像进行特征提取，并应用提取得到的特征生成目标手写文本图像；
[0030]其中，所述手写文本图像生成模型是基于样本内容文本、样本参考手写文本图像以及标签手写文本图像训练得到的。
[0031]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述手写文本图像
生成方法。
[0032]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述手写文本图像生成方法。
[0033]本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述手写文本图像生成方法。
[0034]本专利技术提供的手写文本图像生成方法、装置、电子设备和存储介质，基于手写文本图像生成模型，应用参考手写文本图像中相邻字符之间的位置关系，分别对内容文本和参考手写文本图像进行特征提取，并应用提取得到的特征生成目标手写文本图像。相比于通过逐字符生成的方式，充分考虑到参考手写文本图像中相邻两字符之间的结构关联性，从而能够得到质量较高的目标手写文本图像，提高了手写文本图像生成的视觉合理性。
附图说明
[0035]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0036]图1是本专利技术提供本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种手写文本图像生成方法，其特征在于，包括：确定内容文本和参考手写文本图像；基于手写文本图像生成模型，应用所述参考手写文本图像中相邻字符之间的位置关系，分别对所述内容文本和参考手写文本图像进行特征提取，并应用提取得到的特征生成目标手写文本图像；其中，所述手写文本图像生成模型是基于样本内容文本、样本参考手写文本图像以及标签手写文本图像训练得到的。2.根据权利要求1所述的手写文本图像生成方法，其特征在于，所述基于手写文本图像生成模型，应用所述参考手写文本图像中相邻字符之间的位置关系，分别对所述内容文本和参考手写文本图像进行特征提取，并应用提取得到的特征生成目标手写文本图像，包括：基于所述手写文本图像生成模型中的第一识别器，对所述参考手写文本图像中字符的内容和位置进行识别，得到所述参考手写文本图像的字符位置和空白字符位置；基于所述手写文本图像生成模型中的内容特征调整层，应用所述参考手写文本图像的空白字符位置的特征图，对所述内容文本的原始内容特征进行调整，得到所述内容文本的内容特征；基于所述手写文本图像生成模型中的风格特征调整层，应用所述参考手写文本图像的字符位置的特征图，对所述参考手写文本图像的原始风格特征进行调整，得到所述参考手写文本图像的风格特征；基于所述手写文本图像生成模型中的解码器，应用所述内容特征和风格特征，生成所述目标手写文本图像。3.根据权利要求2所述的手写文本图像生成方法，其特征在于，所述基于所述手写文本图像生成模型中的内容特征调整层，应用所述参考手写文本图像的空白字符位置的特征图，对所述内容文本的原始内容特征进行调整，得到所述内容文本的内容特征，包括：基于所述内容特征调整层中的间距特征提取层，对所述空白字符位置的特征图进行间距特征提取，得到所述参考手写文本图像中相邻字符之间的间距特征；基于所述内容特征调整层中的间距特征调整层，应用所述间距特征，调整所述原始内容特征中相邻字符之间的间距，得到所述内容文本的内容特征。4.根据权利要求2所述的手写文本图像生成方法，其特征在于，所述基于所述手写文本图像生成模型中的内容特征调整层，应用所述参考手写文本图像的空白字符位置的特征图，对所述内容文本的原始内容特征进行调整，得到所述内容文本的内容特征，之前还包括：基于所述手写文本图像生成模型中的部件结构字典，确定所述内容文本中各字符的部件索引和结构...
【专利技术属性】
技术研发人员：孟高峰，李硕，向世明，潘春洪，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。