一种图像中文字的识别方法、装置、介质及电子设备制造方法及图纸

本发明专利技术实施例公开了一种图像中文字的识别方法、装置、介质及电子设备。该方法包括：获取待识别的文字图像区域；若所述待识别的文字图像区域中包含文字，则提取文字特征；将所述文字特征输入至预训练语言模型，用于供所述预训练语言模型对各文字进行预测，得到文字预测结果；其中，所述预训练语言模型是基于预先构建的有遮盖训练样本进行训练得到的；将所述文字预测结果作为图像中文字的识别结果。通过采用本申请所提供的技术方案，可以针对低质量图像能够实现对文字进行准确识别的效果。像能够实现对文字进行准确识别的效果。像能够实现对文字进行准确识别的效果。

【技术实现步骤摘要】
一种图像中文字的识别方法、装置、介质及电子设备


[0001]本专利技术实施例涉及图像识别
，尤其涉及一种图像中文字的识别方法、装置、介质及电子设备。

技术介绍

[0002]随着科学技术的发展，图像处理已经成为很多领域中都会涉及到的一部分。对于一些场景中，往往会需要将图像中的文字转化为文本内容，这就需要对图像进行增强处理和进行文字识别。增强处理主要包括图像去噪、图像超分辨率、图像去模糊等手段，在此基础上，再进行文字识别，可以实现对图像中的文本进行自动识别的目的。但是，对于一些低质量图像的使用场景，由于文字已经全部模糊甚至缺损，导致该文字提取过程出错率是极高的，如需要人工校验，则极大的影响了文字识别的效率和增加了文字识别的成本。

技术实现思路

[0003]本专利技术实施例提供一种图像中文字的识别方法、装置、介质及电子设备，可以针对低质量图像能够实现对文字进行准确识别的效果。
[0004]第一方面，本专利技术实施例提供了一种图像中文字的识别方法，该方法包括：
[0005]获取待识别的文字图像区域；
[0006]若所述待识别的文字图像区域中包含文字，则提取文字特征；
[0007]将所述文字特征输入至预训练语言模型，用于供所述预训练语言模型对各文字进行预测，得到文字预测结果；其中，所述预训练语言模型是基于预先构建的有遮盖训练样本进行训练得到的；
[0008]将所述文字预测结果作为图像中文字的识别结果。
[0009]进一步的，提取文字特征，包括：
[0010]使用由卷积神经网络和池化层构成的特征提取层，提取待识别图像的文字特征。
[0011]进一步的，使用由卷积层和池化层构成的特征提取层，提取待识别图像的文字特征，包括：
[0012]使用卷积神经网络对所述待识别图像进行特征提取，得到特征映射；
[0013]使用池化层对提取到的特征映射进行最大池化，得到精炼特征映射；
[0014]将所述精炼特征映射转化为特征序列。
[0015]进一步的，在将所述精炼特征映射转化为特征序列之前所述方法还包括：
[0016]对所述精炼特征映射进行归一化处理，得到归一化结果；
[0017]相应的，将所述精炼特征映射转化为特征序列，包括：
[0018]将所述归一化结果转化为特征序列。
[0019]进一步的，所述预训练语言模型的训练过程包括：
[0020]获取有遮盖训练样本；所述有遮盖训练样本包括单个文字的部分遮盖和/或全部遮盖；
[0021]将所述训练样本划分为训练集和测试集；
[0022]采用所述训练集的训练样本输入至初始网络模型进行模型训练，以通过上下文对当前预测文字的关联系数，预测当前文字；
[0023]若所述初始网络模型经过测试集的训练样本测试后，满足预设条件，则将所述初始网络模型确定为预训练语言模型。
[0024]第二方面，本专利技术实施例还提供了一种图像中文字的识别装置，包括：
[0025]文字图像区域获取模块，用于获取待识别的文字图像区域；
[0026]文字特征提取模块，用于若所述待识别的文字图像区域中包含文字，则提取文字特征；
[0027]文字预测结果确定模块，用于将所述文字特征输入至预训练语言模型，用于供所述预训练语言模型对各文字进行预测，得到文字预测结果；其中，所述预训练语言模型是基于预先构建的有遮盖训练样本进行训练得到的；
[0028]识别结果确定模块，用于将所述文字预测结果作为图像中文字的识别结果。
[0029]进一步的，所述文字特征提取模块，包括：
[0030]特征提取单元，用于使用由卷积神经网络和池化层构成的特征提取层，提取待识别图像的文字特征。
[0031]进一步的，特征提取单元，具体用于：
[0032]使用卷积神经网络对所述待识别图像进行特征提取，得到特征映射；
[0033]使用池化层对提取到的特征映射进行最大池化，得到精炼特征映射；
[0034]将所述精炼特征映射转化为特征序列。
[0035]进一步的，所述文字特征提取模块，还包括：
[0036]归一化处理单元，用于对所述精炼特征映射进行归一化处理，得到归一化结果；
[0037]相应的，将所述精炼特征映射转化为特征序列，包括：
[0038]将所述归一化结果转化为特征序列。
[0039]进一步的，所述预训练语言模型的训练过程包括：
[0040]获取有遮盖训练样本；所述有遮盖训练样本包括单个文字的部分遮盖和/或全部遮盖；
[0041]将所述训练样本划分为训练集和测试集；
[0042]采用所述训练集的训练样本输入至初始网络模型进行模型训练，以通过上下文对当前预测文字的关联系数，预测当前文字；
[0043]若所述初始网络模型经过测试集的训练样本测试后，满足预设条件，则将所述初始网络模型确定为预训练语言模型。
[0044]第三方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请实施例所述的图像中文字的识别方法。
[0045]第四方面，本申请实施例提供了一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请实施例所述的图像中文字的识别方法。
[0046]本申请实施例所提供的技术方案，获取待识别的文字图像区域；若所述待识别的文字图像区域中包含文字，则提取文字特征；将所述文字特征输入至预训练语言模型，用于
供所述预训练语言模型对各文字进行预测，得到文字预测结果；其中，所述预训练语言模型是基于预先构建的有遮盖训练样本进行训练得到的；将所述文字预测结果作为图像中文字的识别结果。本申请所提供的技术方案，可以针对低质量图像能够实现对文字进行准确识别的效果。
附图说明
[0047]图1是本专利技术实施例一提供的图像中文字的识别方法的流程图；
[0048]图2是本专利技术实施例一提供低质量图像的示意图；
[0049]图3是本专利技术实施例一提供的图像中文字的识别流程的示意图；
[0050]图4是本专利技术实施例一提供的识别过程使用的模型的结构示意图；
[0051]图5是本专利技术实施例二提供的图像中文字的识别装置的结构示意图；
[0052]图6是本申请实施例四提供的一种电子设备的结构示意图。
具体实施方式
[0053]下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。
[0054]在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像中文字的识别方法，其特征在于，所述方法包括：获取待识别的文字图像区域；若所述待识别的文字图像区域中包含文字，则提取文字特征；将所述文字特征输入至预训练语言模型，用于供所述预训练语言模型对各文字进行预测，得到文字预测结果；其中，所述预训练语言模型是基于预先构建的有遮盖训练样本进行训练得到的；将所述文字预测结果作为图像中文字的识别结果。2.根据权利要求1所述的方法，其特征在于，提取文字特征，包括：使用由卷积神经网络和池化层构成的特征提取层，提取待识别图像的文字特征。3.根据权利要求2所述的方法，其特征在于，使用由卷积层和池化层构成的特征提取层，提取待识别图像的文字特征，包括：使用卷积神经网络对所述待识别图像进行特征提取，得到特征映射；使用池化层对提取到的特征映射进行最大池化，得到精炼特征映射；将所述精炼特征映射转化为特征序列。4.根据权利要求3所述的方法，其特征在于，在将所述精炼特征映射转化为特征序列之前所述方法还包括：对所述精炼特征映射进行归一化处理，得到归一化结果；相应的，将所述精炼特征映射转化为特征序列，包括：将所述归一化结果转化为特征序列。5.根据权利要求1所述的方法，其特征在于，所述预训练语言模型的训练过程包括：获取有遮盖训练样本；所述有遮盖训练样本包括单个文字的部分遮盖和/或全部遮盖；将所述训练样本划分为训练集和测试集；采用所述训练集的训练样本输入至初始网络模型进行模型训练，以通过上下文对当前预测文字的关联系数，预测当前文字；若所述初始网络模型经过测试集...

【专利技术属性】
技术研发人员：冯煜博，徐娇，王广普，
申请(专利权)人：沈阳麟龙科技股份有限公司，
类型：发明
国别省市：