【技术实现步骤摘要】
【国外来华专利技术】
本专利技术总体上涉及人工智能和深度学习技术，其为用于生成字符，并且具体地涉及基于机器学习(machine-learning；ml)的系统，其用于产生具有文字内容风格变异性的标记草书手写文本样本，以及涉及训练和使用其的方法。
技术介绍
1、手写识别在现代社会中扮演着至关重要的角色，因为这是将许多涉及书写文本的单调手动任务自动化的先决条件。这些任务包括识别各种填写的表格、支票上的姓名、邮寄地址和其他信息等。尽管在近几十年，光学字符识别(optical character recognition；ocr)已受到了极大的关注和发展，然而，由于存在草书、连笔和复杂形状，这仍然是一个具有挑战性的问题。
2、因为存在各种各样的手写风格，故要替手写识别训练机器学习神经网络非常耗时，并且会消耗大量的计算资源，也因此，行业需要一种能识别丰富书写风格的强大系统。行业所寻求的广泛且可识别的手写风格范围将使得字符识别训练成本过高，而这仅仅只是因为所需的充分训练数据集中包含了数量庞大的手写样本。此外，一些语言，例如汉语，其包含大量字符，导致创建和维护一个能够识别足够多手写汉字风格的机器学习神经网络的计算成本、时间消耗和财务支出呈指数增长。
3、目前已证明生成对抗网络(generative adversarial networks；gans)在许多计算机视觉任务中是成功的生成模型。gan模型在基于生成器模型和判别器模型之间的极小极大博弈的博弈论中制定出了生成模型。生成器模型尝试生成尽可能接近真实样本的“假”样本，而判别器模型则尝试将“
4、一些方法通过从文本创建图像，并关注已经存在的数据集或印刷的手写字体来生成训练数据。例如，scrabblegan方法使用gan从iam数据集中学习，以创建用于生成手写词的文本图像。然而，像iam数据集这样的现有数据集，其主要包含固定图像和文本，限制了字符的出现和多样性。传统的gan受到训练数据的限制，只能生成已经存在或相似的手写风格，其中大部分是非草书字词，而不能引入额外的变化。
技术实现思路
1、根据本专利技术的一个方面，提供了一种用于生成草书手写文本的装置。装置包括：输入文本词嵌入单元，被配置为对输入文本进行编码，以得到输入文本特征空间中的输入文本词嵌入；文字内容风格词嵌入单元，被配置为将手写文字内容风格描述编码为手写文字内容风格特征空间中的文字内容风格描述嵌入；词嵌入变换器，被配置为将文字内容风格描述嵌入从手写文字内容风格特征空间变换到输入文本特征空间，以获得手写文字内容风格特征嵌入；特征嵌入组合器，被配置为组合手写文字内容风格特征嵌入和输入文本词嵌入以形成组合特征嵌入；生成器，被配置为基于组合特征嵌入生成合成图像。合成图像包含输入文本中出现的字符，具有在手写文字内容风格描述中定义的手写文字内容风格以及由生成器引入的文字内容风格变异性。
2、根据本专利技术的另一方面，提供了一种方法，其训练用于生成草书手写文本的装置。装置至少包括输入文本词嵌入单元、文字内容风格词嵌入单元、词嵌入变换器、特征嵌入组合器、生成器和判别器。方法包括：通过输入文本词嵌入单元，对输入文本进行编码，以得到输入文本特征空间中的输入文本词嵌入；通过文字内容风格词嵌入单元，将手写文字内容风格描述编码为手写文字内容风格特征空间中的文字内容风格描述嵌入；通过词嵌入变换器，将文字内容风格描述嵌入从手写文字内容风格特征空间变换到输入文本特征空间，以得到手写文字内容风格特征嵌入；通过特征嵌入组合器，将手写文字内容风格特征嵌入和输入文本词嵌入组合，以形成组合特征嵌入；通过生成器，基于组合特征嵌入生成合成图像，其中合成图像包含输入文本中出现的具有手写文字内容风格描述中定义的手写文字内容风格的字符；以及通过判别器，辨别生成的合成图像中的字符为真手写字符还是假手写字符，并生成代表生成的合成图像与参考标记图像之间的似然性的更新数据，其中更新数据用于优化生成器。
3、根据本专利技术的另一方面，提供了一种方法，其使用用于生成草书手写文本的装置。装置至少包括输入文本词嵌入单元、文字内容风格词嵌入单元、词嵌入变换器、特征嵌入组合器和生成器。方法包括：通过输入文本词嵌入单元对输入文本进行编码，得到输入文本特征空间中的输入文本词嵌入；通过文字内容风格词嵌入单元，将手写文字内容风格描述编码为手写文字内容风格特征空间中的文字内容风格描述嵌入；通过词嵌入变换器，将文字内容风格描述嵌入从手写文字内容风格特征空间变换到输入文本特征空间，以得到手写文字内容风格特征嵌入；通过特征嵌入组合器，将手写文字内容风格特征嵌入和输入文本词嵌入组合以形成组合特征嵌入；通过生成器，基于组合特征嵌入生成合成图像；通过识别单元，对合成图像进行识别，以生成对应的机器可识别文本；通过标注单元，自动为合成图像标注相应的机器可识别文本和手写文字内容风格描述，生成新的标记图像数据。合成图像包含输入文本中出现的字符，其具有在手写文字内容风格描述中定义的手写文字内容风格以及由生成器引入的文字内容风格变异性。
4、通过将多种范围的文字内容风格变异性引入到草书字符中，所述的方法提供了一种经济有效的方式来生成大量人工草书手写词，用于训练能用于草书手写识别的ml神经网络。
本文档来自技高网...【技术保护点】
1.一种装置，用于产生具有文字内容风格变异性的标记草书手写文本样本，其特征在于，包括：
2.根据权利要求1所述的装置，其特征在于，还包括判别器，被配置为在训练过程期间，辨别所生成的所述合成图像中的字符为真手写字符还是假手写字符，并生成表示所生成的所述合成图像与对应的标记图像之间的似然性的更新数据；以及用于优化所述生成器的更新数据。
3.根据权利要求1所述的装置，其特征在于，还包括识别单元，被配置为在文本生成过程中识别由所述生成器生成的所述合成图像，以产生相应的机器可识别文本；以及标注单元，被配置为使用相应的所述机器可识别文本以及相应的所述手写文字内容风格描述自动标注所述合成图像，以创建带标签的文本图像数据，并将带注释的所述文本图像数据存储在手写文本图像数据库中。
4.根据权利要求1所述的装置，其特征在于，所述手写文字内容风格描述由所述文字内容风格词嵌入单元使用文字内容风格语言模型来编码，其中所述文字内容风格语言模型是利用文字内容风格词库预先训练的，且在所述文字内容风格词库中的文字内容风格词是根据对应的文字内容风格参数进行分类的。
5
6.一种方法，训练用于产生具有文字内容风格变异性的标记草书手写文本样本的装置，其中所述装置至少包括输入文本词嵌入单元、文字内容风格词嵌入单元、词嵌入变换器、特征嵌入组合器、生成器和判别器，其特征在于，所述方法包括：
7.根据权利要求6所述的方法，其特征在于，所述手写文字内容风格描述由所述文字内容风格词嵌入单元使用文字内容风格语言模型来编码，其中所述文字内容风格语言模型是利用文字内容风格词库预先训练的，且在所述文字内容风格词库中的文字内容风格词是根据对应的文字内容风格参数进行分类的。
8.根据权利要求7所述的方法，其特征在于，所述文字内容风格语言模型是连续词袋(CBOW)模型。
9.根据权利要求6所述的方法，其特征在于，所述生成器生成合成图像和所述判别器对所生成的合成图像的判别是以对抗方式迭代地执行。
10.一种方法，使用用于产生具有文字内容风格变异性的标记草书手写文本样本的装置，其中所述装置至少包括输入文本词嵌入单元、文字内容风格词嵌入单元、词嵌入变换器、特征嵌入组合器、生成器、识别单元和标注单元；其特征在于，所述方法包括：
11.根据权利要求10所述的方法，其特征在于，所述手写文字内容风格描述由所述文字内容风格词嵌入单元使用文字内容风格语言模型来编码，其中所述文字内容风格语言模型是利用文字内容风格词库预先训练的，且在所述文字内容风格词库中的文字内容风格词是根据对应的文字内容风格参数进行分类的。
12.根据权利要求11所述的方法，其特征在于，所述文字内容风格语言模型是连续词袋(CBOW)模型。
...【技术特征摘要】
【国外来华专利技术】
1.一种装置，用于产生具有文字内容风格变异性的标记草书手写文本样本，其特征在于，包括：
2.根据权利要求1所述的装置，其特征在于，还包括判别器，被配置为在训练过程期间，辨别所生成的所述合成图像中的字符为真手写字符还是假手写字符，并生成表示所生成的所述合成图像与对应的标记图像之间的似然性的更新数据；以及用于优化所述生成器的更新数据。
3.根据权利要求1所述的装置，其特征在于，还包括识别单元，被配置为在文本生成过程中识别由所述生成器生成的所述合成图像，以产生相应的机器可识别文本；以及标注单元，被配置为使用相应的所述机器可识别文本以及相应的所述手写文字内容风格描述自动标注所述合成图像，以创建带标签的文本图像数据，并将带注释的所述文本图像数据存储在手写文本图像数据库中。
4.根据权利要求1所述的装置，其特征在于，所述手写文字内容风格描述由所述文字内容风格词嵌入单元使用文字内容风格语言模型来编码，其中所述文字内容风格语言模型是利用文字内容风格词库预先训练的，且在所述文字内容风格词库中的文字内容风格词是根据对应的文字内容风格参数进行分类的。
5.根据权利要求4所述的装置，其特征在于，所述文字内容风格语言模型是连续词袋(cbow)模型。
6.一种方法，训练用于产生具有文字内容风格变异性的标记草书手写文本样本的装置，其中所述装置至少包括输入文本词嵌入单元、文字内容风格词嵌入单元、词...
【专利技术属性】
技术研发人员：邓羽真，塞尔吉奥·鲁道夫·克鲁兹·戈麦斯，
申请(专利权)人：香港应用科技研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。