文字识别方法和电子设备技术

本发明专利技术提供一种文字识别方法和电子设备，方法包括：确定待识别图像，待识别图像包括待识别文字；获取文字种类信息，将待识别图像输入至文字种类识别模型，得到文字种类信息；文字种类识别模型基于卷积神经网络对待识别图像进行特征提取得到包含多维特征的目标特征图，对待识别图像的待识别文字进行文字种类识别；其中，文字种类识别模型是基于多个种类的待识别文字的样本图像训练得到的；确定与文字种类信息对应的文字检测识别模型；基于文字检测识别模型对待识别图像的待识别文字进行文字识别。字识别。字识别。

【技术实现步骤摘要】
文字识别方法和电子设备


[0001]本专利技术涉及人工智能
，尤其涉及一种文字识别方法和电子设备。

技术介绍

[0002]现有方法中普遍通过人工检查图片信息进行图片中文字的识别，这种方式面 对互联网中海量的、多类型的图片数据进行文字识别的准确性和效率较差。

技术实现思路

[0003]本专利技术提供一种文字识别方法和电子设备，用以解决现有技术中通过人工检 查图片信息进行图片中文字的识别，这种方式面对互联网中海量的、多类型的图 片数据进行文字识别的准确性和效率较差的缺陷。
[0004]本专利技术提供一种文字识别方法，包括：
[0005]确定待识别图像，所述待识别图像包括待识别文字；
[0006]获取文字种类信息，将所述待识别图像输入至文字种类识别模型，得到所述 文字种类信息；所述文字种类识别模型基于卷积神经网络对所述待识别图像进行 特征提取得到包含多维特征的目标特征图，对所述待识别图像的待识别文字进行 文字种类识别；其中，所述文字种类识别模型是基于多个种类的待识别文字的样 本图像训练得到的；
[0007]确定与所述文字种类信息对应的文字检测识别模型；基于所述文字检测识别 模型对所述待识别图像的待识别文字进行文字识别。
[0008]根据本专利技术提供的一种文字识别方法，所述文字种类识别模型包括特征提取 层，所述特征提取层包括：
[0009]第一卷积层，用于通过预设第一卷积核对所述待识别图像进行卷积操作，得 到第一特征图；
[0010]第一线性变换层，用于通过预设第二卷积核对所述第一特征图线性变换，得 到与所述待识别图像尺寸一致的的第一抽象特征图；
[0011]池化层，用于对所述第一抽象特征图进行最大值池化，得到所述包含多维特 征的第一目标特征图。
[0012]根据本专利技术提供的一种文字识别方法，所述文字种类识别模型还包括：
[0013]场景分类层，用于对所述特征提取层输出的第一目标特征图进行场景分类， 得到所述待识别文字的文字种类信息。
[0014]根据本专利技术提供的一种文字识别方法，所述场景分类层包括：
[0015]第二卷积层，用于对所述第一目标特征图进行全卷积操作，得到第一目标一 维特征向量；
[0016]计算分类层，用于通过softmax函数对所述第一目标一维特征向量进行计算， 得到多个种类的场景分类概率；
[0017]分类输出层，用于从所述多个种类的场景分类概率中得到最大场景分类概率 对
应的场景分类，将所述最大场景分类概率对应的场景分类作为所述文字种类信 息输出。
[0018]根据本专利技术提供的一种文字识别方法，所述确定待识别图像之前，文字识别 方法还包括对所述文字种类识别模型进行训练的步骤；所述对所述文字种类识别 模型进行训练，包括：
[0019]获取样本图像，所述样本图像包括待识别文字；
[0020]基于卷积神经网络对所述样本图像进行特征提取得到包含多维特征的第二 目标特征图；
[0021]对所述第二目标特征图进行场景分类，得到所述样本图像的待识别文字的文 字种类信息。
[0022]根据本专利技术提供的一种文字识别方法，所述基于卷积神经网络对所述样本图 像进行特征提取得到包含多维特征的第二目标特征图，包括：
[0023]通过预设第一卷积核对所述样本图像进行卷积操作，得到第二特征图；
[0024]通过预设第二卷积核对所述第二特征图线性变换，得到与所述待识别图像尺 寸一致的的第二抽象特征图；
[0025]对所述第二抽象特征图进行最大值池化，得到所述包含多维特征的第二目标 特征图。
[0026]根据本专利技术提供的一种文字识别方法，所述对所述第二目标特征图进行场景 分类，得到所述样本图像的待识别文字的文字种类信息，包括：
[0027]对所述第二目标特征图进行全卷积操作，得到第二目标一维特征向量；
[0028]通过softmax函数对所述第二目标一维特征向量进行计算，得到多个种类的 场景分类概率；
[0029]从所述多个种类的场景分类概率中得到最大分类概率对应的场景分类，将所 述最大场景分类概率对应的场景分类作为所述文字种类信息输出。
[0030]根据本专利技术提供的一种文字识别方法，所述确定与所述文字种类信息对应的 文字检测识别模型；基于所述文字检测识别模型对所述待识别图像的待识别文字 进行文字识别，包括：
[0031]当所述文字种类信息为自然场景文字时，所述文字检测识别模型包括EAST 模型和CRNN模型，所述基于所述文字检测识别模型对所述待识别图像的待识别 文字进行文字识别，包括：
[0032]基于EAST模型检测所述待识别图像中的自然场景文字的第一文字区域位置；
[0033]基于所述CRNN模型识别所述第一文字区域位置的自然场景文字的文字内容。
[0034]根据本专利技术提供的一种文字识别方法，当所述文字种类信息为打印文字或手 写文字时，所述文字检测识别模型包括CTPN模型和CRNN模型，所述基于所述文 字检测识别模型对所述待识别图像的待识别文字进行文字识别，包括：
[0035]基于CTPN模型检测所述待识别图像中的打印文字或手写文字的第二文字区 域位置；
[0036]基于所述CRNN模型识别所述第二文字区域位置的打印文字或手写文字的文 字内容。
[0037]根据本专利技术提供的一种文字识别方法，所述确定待识别图像之后，还包括对 所述
待识别图像进行预处理；
[0038]所述对所述待识别图像进行预处理，包括：
[0039]将所述待识别图像转换成像素矩阵；
[0040]调整所述像素矩阵的尺寸至符合所述卷积神经网络的输入要求；
[0041]删除异常的所述待识别图像；所述异常的所述待识别图像包括数据缺失或位 图错误的所述待识别图像。
[0042]本专利技术还提供一种文字识别装置，包括：
[0043]第一确定模块，用于确定待识别图像，所述待识别图像包括待识别文字；
[0044]文字种类获取模块，用于获取文字种类信息，将所述待识别图像输入至文字 种类识别模型，得到所述文字种类信息；所述文字种类识别模型基于卷积神经网 络对所述待识别图像进行特征提取得到包含多维特征的目标特征图，对所述待识 别图像的待识别文字进行文字种类识别；其中，所述文字种类识别模型是基于多 个种类的待识别文字的样本图像训练得到的；
[0045]第二确定模块，用于确定与所述文字种类信息对应的文字检测识别模型；基 于所述文字检测识别模型对所述待识别图像的待识别文字进行文字识别。
[0046]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在 处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述 文字识别方法的步骤。
[0047]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该 计算机程序被处理器执行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文字识别方法，其特征在于，包括：确定待识别图像，所述待识别图像包括待识别文字；获取文字种类信息，将所述待识别图像输入至文字种类识别模型，得到所述文字种类信息；所述文字种类识别模型基于卷积神经网络对所述待识别图像进行特征提取得到包含多维特征的目标特征图，对所述待识别图像的待识别文字进行文字种类识别；其中，所述文字种类识别模型是基于多个种类的待识别文字的样本图像训练得到的；确定与所述文字种类信息对应的文字检测识别模型；基于所述文字检测识别模型对所述待识别图像的待识别文字进行文字识别。2.根据权利要求1所述的文字识别方法，其特征在于，所述文字种类识别模型包括特征提取层，所述特征提取层包括：第一卷积层，用于通过预设第一卷积核对所述待识别图像进行卷积操作，得到第一特征图；第一线性变换层，用于通过预设第二卷积核对所述第一特征图线性变换，得到与所述待识别图像尺寸一致的的第一抽象特征图；池化层，用于对所述第一抽象特征图进行最大值池化，得到所述包含多维特征的第一目标特征图。3.根据权利要求1所述的文字识别方法，其特征在于，所述文字种类识别模型还包括：场景分类层，用于对所述特征提取层输出的第一目标特征图进行场景分类，得到所述待识别文字的文字种类信息。4.根据权利要求3所述的文字识别方法，其特征在于，所述场景分类层包括：第二卷积层，用于对所述第一目标特征图进行全卷积操作，得到第一目标一维特征向量；计算分类层，用于通过softmax函数对所述第一目标一维特征向量进行计算，得到多个种类的场景分类概率；分类输出层，用于从所述多个种类的场景分类概率中得到最大场景分类概率对应的场景分类，将所述最大场景分类概率对应的场景分类作为所述文字种类信息输出。5.根据权利要求1所述的文字识别方法，其特征在于，所述确定待识别图像之前，文字识别方法还包括对所述文字种类识别模型进行训练的步骤；所述对所述文字种类识别模型进行训练，包括：获取样本图像，所述样本图像包括待识别文字；基于卷积神经网络对所述样本图像进行特征提取得到包含多维特征的第二目标特征图；对所述第二目标特征图进行场景分类，得到所述样本图像的待识别文字的文字种类信息。6.根...

【专利技术属性】
技术研发人员：陈苏，王维晟，石光，吴志敏，金鑫，王宇，刘柏锋，焦亮，
申请(专利权)人：国家计算机网络与信息安全管理中心，
类型：发明
国别省市：