一种字符识别方法、装置、设备及存储介质制造方法及图纸

本申请提出一种字符识别方法、装置、设备及存储介质，该方法包括：获取文本图像的解码特征，并根据所述解码特征，解码得到与所述文本图像对应的第一字符识别结果；通过将所述文本图像的解码特征，与预设字典中的各个字符的字符元素序列特征进行比对，确定与所述文本图像对应的第二字符识别结果；其中，所述字符元素序列由字符的各个构成元素，以及各个构成元素之间的位置关系信息组成；基于所述第一字符识别结果和所述第二字符识别结果，确定对所述文本图像的字符识别结果。采用上述方案能够取得更好的字符识别效果。得更好的字符识别效果。得更好的字符识别效果。

【技术实现步骤摘要】
一种字符识别方法、装置、设备及存储介质


[0001]本申请涉及人工智能
，尤其涉及一种字符识别方法、装置、设备及存储介质。

技术介绍

[0002]光学字符识别，是指对图像中的文字进行识别的技术。常规的光学字符识别方案主要包括两种：第一种是基于CTC解码的识别方案。该方案首先通过卷积神经网络和循环神经网络提取图像特征，然后通过CTC解码方法自动对齐字符，实现端到端的文本识别。第二种是基于序列到序列(seq2seq)的识别方案。该方案由encoder和decoder两部分组成，通过一个encoder提取文本行图像的特征，然后通过一个decoder将图像特征解码为字符序列，其中每个解码时刻所用的上下文特征向量通过一个注意力模块计算得到。
[0003]上述的光学字符识别方案是通用的光学字符识别方法，其中均应用了神经网络。神经网络是数据驱动的模型，当训练不充分或者不全面的情况下，通常无法准确地识别光学字符，从而导致通过上述的光学字符识别方案，无法取得理想的字符识别效果，具体表现为无法准确识别所有字符。

技术实现思路

[0004]基于上述技术现状，本申请提出一种字符识别方法、装置、设备及存储介质，用于解决上述技术问题，提高字符识别效果。
[0005]为了解决上述问题，本申请提出如下技术方案：
[0006]一种字符识别方法，包括：
[0007]获取文本图像的解码特征，并根据所述解码特征，解码得到与所述文本图像对应的第一字符识别结果；
[0008]通过将所述文本图像的解码特征，与预设字典中的各个字符的字符元素序列特征进行比对，确定与所述文本图像对应的第二字符识别结果；其中，所述字符元素序列由字符的各个构成元素，以及各个构成元素之间的位置关系信息组成；
[0009]基于所述第一字符识别结果和所述第二字符识别结果，确定对所述文本图像的字符识别结果。
[0010]可选的，通过将所述文本图像的解码特征，与预设字典中的各个字符的字符元素序列特征进行比对，确定与所述文本图像对应的第二字符识别结果，包括：
[0011]将所述解码特征输入预先训练的结构解码模型，使所述结构解码模型通过将所述文本图像的解码特征，与预设字典中的各个字符的字符元素序列特征进行比对，确定与所述文本图像对应的字符识别结果，并将所述结构解码模型所确定的字符识别结果作为与所述文本图像对应的第二字符识别结果。
[0012]可选的，获取文本图像的解码特征，并根据所述解码特征，解码得到与所述文本图像对应的第一字符识别结果，包括：
[0013]将文本图像输入预先训练的字符识别模型，使所述字符识别模型对所述文本图像进行特征提取及字符识别处理，得到所述字符识别模型输出的解码特征以及字符识别结果，并将所述字符识别模型输出的字符识别结果作为与所述文本图像对应的第一字符识别结果。
[0014]可选的，所述第一字符识别结果与所述第二字符识别结果中，分别记录所述文本图像中的待识别字符被识别为预设字典中的各个字符的概率；
[0015]基于所述第一字符识别结果和所述第二字符识别结果，确定对所述文本图像的字符识别结果，包括：
[0016]将所述第一识别结果与所述第二识别结果进行融合处理，确定对所述文本图像的字符识别结果。
[0017]可选的，将所述第一识别结果与所述第二识别结果进行融合处理，确定对所述文本图像的字符识别结果，包括：
[0018]以所述第一字符识别结果的权重为第一权重、所述第二字符识别结果的权重为第二权重，对所述第一字符识别结果和所述第二字符识别结果进行加权求和，确定所述文本图像中的待识别字符被识别为预设字典中的各个字符的加权求和后的概率；
[0019]根据所述文本图像中的待识别字符被识别为预设字典中的各个字符的加权求和后的概率，确定对所述文本图像的字符识别结果。
[0020]可选的，所述第一权重和所述第二权重的大小按照如下方式确定：
[0021]如果所述第一字符识别结果中所记录的识别概率最大的字符，是预先设置的形近字列表中的字符，则设置所述第二权重大于所述第一权重；其中，所述形近字列表中存储字形相近的字符对；所述识别概率最大的字符，是待识别字符被识别为预设字典中的各个字符的概率中的最大概率对应的字符；
[0022]如果所述第一字符识别结果中所记录的识别概率最大的字符，不是预先设置的形近字列表中的字符，则设置所述第二权重不大于所述第一权重。
[0023]可选的，所述第一字符识别结果与所述第二字符识别结果，分别为对所述文本图像中的待识别字符进行识别得到的字符；
[0024]基于所述第一字符识别结果和所述第二字符识别结果，确定对所述文本图像的字符识别结果，包括：
[0025]从所述第一字符识别结果和所述第二字符识别结果中，选出对所述文本图像的字符识别结果。
[0026]可选的，从所述第一字符识别结果和所述第二字符识别结果中，选出对所述文本图像的字符识别结果，包括：
[0027]判断所述第一字符识别结果是否为预先设置的形近字列表中的字符；其中，所述形近字列表中存储字形相近的字符对；
[0028]如果所述第一字符识别结果不是预先设置的形近字列表中的字符，则将所述第一字符识别结果确定为对所述文本图像的字符识别结果；
[0029]如果所述第一字符识别结果为预先设置的形近字列表中的字符，则判断所述第一字符识别结果和所述第二字符识别结果构成的字符对是否为预先设置的形近字列表中的字符对；
[0030]如果所述第一字符识别结果和所述第二字符识别结果构成的字符对是预先设置的形近字列表中的字符对，则将所述第二字符识别结果确定为对所述文本图像的字符识别结果；
[0031]如果所述第一字符识别结果和所述第二字符识别结果构成的字符对不是预先设置的形近字列表中的字符对，则将所述第一字符识别结果确定为对所述文本图像的字符识别结果。
[0032]可选的，所述结构解码模型通过如下方式训练得到：
[0033]获取字符样本图像的解码特征，以及所述字符样本图像对应的正样本标签的字符元素序列特征和负样本标签的字符元素序列特征；
[0034]将所述字符样本图像的解码特征输入结构解码模型，使所述结构解码模型通过将所述字符样本图像的解码特征，与字符样本集合中的各个字符的字符元素序列特征进行比对，确定与所述字符样本图像对应的字符识别结果；
[0035]以使得所述结构解码模型所确定的所述字符样本图像的解码特征与所述字符样本图像对应的正样本标签的字符元素序列特征的相似度最大化，以及使得所述结构解码模型所确定的所述字符样本图像的解码特征与所述字符样本图像对应的负样本标签的字符元素序列特征的相似度最小化为目标，对所述结构解码模型进行参数优化。
[0036]可选的，用于对所述结构解码模型进行训练的字符样本包括通过对字符的构成元素进行替换得到的字符。
[0037]可选的，预设字典中的各个字符的字符元素本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种字符识别方法，其特征在于，包括：获取文本图像的解码特征，并根据所述解码特征，解码得到与所述文本图像对应的第一字符识别结果；通过将所述文本图像的解码特征，与预设字典中的各个字符的字符元素序列特征进行比对，确定与所述文本图像对应的第二字符识别结果；其中，所述字符元素序列由字符的各个构成元素，以及各个构成元素之间的位置关系信息组成；基于所述第一字符识别结果和所述第二字符识别结果，确定对所述文本图像的字符识别结果。2.根据权利要求1所述的方法，其特征在于，通过将所述文本图像的解码特征，与预设字典中的各个字符的字符元素序列特征进行比对，确定与所述文本图像对应的第二字符识别结果，包括：将所述解码特征输入预先训练的结构解码模型，使所述结构解码模型通过将所述文本图像的解码特征，与预设字典中的各个字符的字符元素序列特征进行比对，确定与所述文本图像对应的字符识别结果，并将所述结构解码模型所确定的字符识别结果作为与所述文本图像对应的第二字符识别结果。3.根据权利要求1所述的方法，其特征在于，获取文本图像的解码特征，并根据所述解码特征，解码得到与所述文本图像对应的第一字符识别结果，包括：将文本图像输入预先训练的字符识别模型，使所述字符识别模型对所述文本图像进行特征提取及字符识别处理，得到所述字符识别模型输出的解码特征以及字符识别结果，并将所述字符识别模型输出的字符识别结果作为与所述文本图像对应的第一字符识别结果。4.根据权利要求1所述的方法，其特征在于，所述第一字符识别结果与所述第二字符识别结果中，分别记录所述文本图像中的待识别字符被识别为预设字典中的各个字符的概率；基于所述第一字符识别结果和所述第二字符识别结果，确定对所述文本图像的字符识别结果，包括：将所述第一识别结果与所述第二识别结果进行融合处理，确定对所述文本图像的字符识别结果。5.根据权利要求4所述的方法，其特征在于，将所述第一识别结果与所述第二识别结果进行融合处理，确定对所述文本图像的字符识别结果，包括：以所述第一字符识别结果的权重为第一权重、所述第二字符识别结果的权重为第二权重，对所述第一字符识别结果和所述第二字符识别结果进行加权求和，确定所述文本图像中的待识别字符被识别为预设字典中的各个字符的加权求和后的概率；根据所述文本图像中的待识别字符被识别为预设字典中的各个字符的加权求和后的概率，确定对所述文本图像的字符识别结果。6.根据权利要求5所述的方法，其特征在于，所述第一权重和所述第二权重的大小按照如下方式确定：如果所述第一字符识别结果中所记录的识别概率最大的字符，是预先设置的形近字列表中的字符，则设置所述第二权重大于所述第一权重；其中，所述形近字列表中存储字形相近的字符对；所述识别概率最大的字符，是待识别字符被识别为预设字典中的各个字符的
概率中的最大概率对应的字符；如果所述第一字符识别结果中所记录的识别概率最大的字符，不是预先设置的形近字列表中的字符，则设置所述第二权重不大于所述第一权重。7.根据权利要求1所述的方法，其特征在于，所述第一字符识别结果与所述第二字符识别结果，分别为对所述文本图像中的待识别字符进行识别得到的字符；基于所述第一字符识别结果和所述第二字符识别结果，确定对所述文本图像的字符识别结果，包括：从所述第一字符识别结果和所述第二字符识别结果中，选出对所述文本图像的字符识别结果。8.根据权利要求7所述的方法，其特征...

【专利技术属性】
技术研发人员：蒋磊，朱辉辉，张建树，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：