字符识别方法及装置制造方法及图纸

本公开是关于一种字符识别方法及装置，该方法包括：使用第一卷积神经网络对待识别字符区域图像进行特征提取，得到特征图矩阵；将所述特征图矩阵进行切分，得到一行特征序列；使用循环神经网络对所述一行特征序列进行识别，得到所述待识别字符区域图像中的字符。该技术方案可以有效消除步骤之间的累计误差，提高字符识别的准确率。

【技术实现步骤摘要】
字符识别方法及装置
本公开涉及图像处理
，尤其涉及字符识别方法及装置。
技术介绍
字符识别是计算机视觉中的一个重要领域，字符识别过程一般包括两个步骤：字符检测和字符识别。其中，字符检测就是检测出图像中出现字符的区域，常用的方法有基于滑动窗口的方法和基于连通域的方法。字符识别就是对检测到字符的区域进行识别，得到对应的字符。
技术实现思路
本公开实施例提供一种字符识别方法及装置。所述技术方案如下：根据本公开实施例的第一方面，提供一种字符识别方法，包括：通过第一卷积神经网络对待识别字符区域图像进行特征提取，得到特征图矩阵；将所述特征图矩阵进行切分，得到一行特征序列；通过循环神经网络对所述一行特征序列进行识别，得到所述待识别字符区域图像中的字符。在一个实施例中，所述方法还包括：对所述待识别字符区域图像进行校正，得到字符整齐的校正图像；所述通过第一卷积神经网络对待识别字符区域图像进行特征提取，得到特征图矩阵，包括：通过所述第一卷积神经网络对所述校正图像进行特征提取，得到特征图矩阵。在一个实施例中，所述对所述待识别字符区域图像进行校正，得到字符整齐的校正图像，包括：将所述待识别字符区域图像的长度和高度进行同比例缩放，得到缩放图像，其中，所述缩放图像的高度为预设高度；通过第二卷积神经网络对所述缩放图像进行字符关键点定位，得到关键点；根据所述关键点和预设位置点的对应关系，确定对应的薄板样条函数TPS；根据所述薄板样条函数TPS对所述缩放图像进行TPS变换，得到所述校正图像。在一个实施例中，所述循环神经网络包括第一长短时记忆LSTM网络和第二LSTM网络，所述通过循环神经网络对所述一行特征序列进行识别，得到所述待识别字符区域图像中的字符，包括：使用第一LSTM网络对所述特征序列进行编码，得到编码后的特征序列；使用第二LSTM网络对所述编码后的特征序列进行解码，得到所述待识别字符区域图像中的字符。在一个实施例中，所述方法还包括：获取训练用的样本，所述样本包括字符所在区域的图像；使用所述样本对总网络进行端到端训练，得到训练好的总网络，所述训练好的总网络包括所述第一卷积神经网络和所述循环神经网络。根据本公开实施例的第二方面，提供一种字符识别装置，包括：提取模块，用于使用第一卷积神经网络对待识别字符区域图像进行特征提取，得到特征图矩阵；切分模块，用于将所述特征图矩阵进行切分，得到一行特征序列；识别模块，用于通过循环神经网络对所述一行特征序列进行识别，得到所述待识别字符区域图像中的字符。在一个实施例中，所述装置还包括：校正模块，用于对所述待识别字符区域图像进行校正，得到字符整齐的校正图像；所述提取模块包括：提取子模块，用于通过所述第一卷积神经网络对所述校正图像进行特征提取，得到特征图矩阵。在一个实施例中，所述校正模块包括：缩放子模块，用于将所述待识别字符区域图像的长度和高度进行同比例缩放，得到缩放图像，其中，所述缩放图像的高度为预设高度；定位子模块，用于通过第二卷积神经网络对所述缩放图像进行字符关键点定位，得到关键点；确定子模块，用于根据所述关键点和预设位置点的对应关系，确定对应的薄板样条函数TPS；变换子模块，用于根据所述薄板样条函数TPS对所述缩放图像进行TPS变换，得到所述校正图像。在一个实施例中，所述循环神经网络包括第一长短时记忆LSTM网络和第二LSTM网络，所述识别模块包括：编码子模块，用于使用第一LSTM网络对所述特征序列进行编码，得到编码后的特征序列；解码子模块，用于使用第二LSTM网络对所述编码后的特征序列进行解码，得到所述待识别字符区域图像中的字符。在一个实施例中，所述装置还包括：获取模块，用于获取训练用的样本，所述样本包括字符所在区域的图像；训练模块，用于使用所述样本对总网络进行端到端训练，得到训练好的总网络，所述训练好的总网络包括所述第一卷积神经网络和所述循环神经网络。根据本公开实施例的第三方面，提供一种字符识别装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为：使用第一卷积神经网络对待识别字符区域图像进行特征提取，得到特征图矩阵；将所述特征图矩阵进行切分，得到一行特征序列；通过循环神经网络对所述一行特征序列进行识别，得到所述待识别字符区域图像中的字符。根据本公开实施例的第四方面，提供一种计算机可读存储介质，存储有计算机指令，所述计算机指令被处理器执行时实现上述方法中的步骤。本实施例可以使用第一卷积神经网络对待识别字符区域图像进行特征提取，得到特征图矩阵；将所述特征图矩阵进行切分，得到一行特征序列；使用循环神经网络对所述一行特征序列进行识别，得到所述待识别字符区域图像中的字符，如此，使用的第一卷积神经网络和循环神经网络都是可导的，包括第一卷积神经网络和循环神经网络的总网络可以进行端到端的训练，这样使用该第一卷积神经网络和循环神经网络进行字符识别时就可以有效消除了步骤之间的累计误差，而且通过将图像转化为一个特征序列后进行特征序列识别，可以避免了对单个文字进行切割，防止切割错误出现的识别错误，进一步提高字符识别的准确率。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。图1是根据一示例性实施例示出的一种字符识别方法的流程图。图2是根据一示例性实施例示出的一种字符校正过程的流程图。图3是根据一示例性实施例示出的一种字符识别方法的流程图。图4是根据一示例性实施例示出的一种字符识别装置的框图。图5是根据一示例性实施例示出的一种字符识别装置的框图。图6是根据一示例性实施例示出的一种字符识别装置的框图。图7是根据一示例性实施例示出的一种字符识别装置的框图。图8是根据一示例性实施例示出的一种字符识别装置的框图。图9是根据一示例性实施例示出的一种字符识别装置的框图。具体实施方式这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。目前可以使用OCR(OpticalCharacterRecognition，光学字符识别)来进行字符识别，但是在该字符识别过程中需要进行图像预处理、单字分割、单字识别、语言模型解码等环节，每个环节都是单独的步骤，很容易造成累计误差。图1是根据一示例性实施例示出的一种字符识别方法的流程图，如图1所示，该字符识别方法用于终端等设备中，包括以下步骤101-103：在步骤101中，使用第一卷积神经网络对待识别字符区域图像进行特征提取，得到特征图矩阵。在步骤102中，将所述特征图矩阵进行切分，得到一行特征序列。在步骤103中，使用循环神经网络对所述一行特征序列进行识别，得到所述待识别字符区域图像中的字符。这里，该第一卷积神经网络(ConvolutionalNeuralNetwork，CNN)和该循环神经网络可以是终端自己训练的，也可以其他终端训练后发送给本终端的。这里，该第一卷积神本文档来自技高网...

【技术保护点】
一种字符识别方法，其特征在于，包括：通过第一卷积神经网络对待识别字符区域图像进行特征提取，得到特征图矩阵；将所述特征图矩阵进行切分，得到一行特征序列；通过循环神经网络对所述一行特征序列进行识别，得到所述待识别字符区域图像中的字符。

【技术特征摘要】
1.一种字符识别方法，其特征在于，包括：通过第一卷积神经网络对待识别字符区域图像进行特征提取，得到特征图矩阵；将所述特征图矩阵进行切分，得到一行特征序列；通过循环神经网络对所述一行特征序列进行识别，得到所述待识别字符区域图像中的字符。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：对所述待识别字符区域图像进行校正，得到字符整齐的校正图像；所述通过第一卷积神经网络对待识别字符区域图像进行特征提取，得到特征图矩阵，包括：通过所述第一卷积神经网络对所述校正图像进行特征提取，得到特征图矩阵。3.根据权利要求2所述的方法，其特征在于，所述对所述待识别字符区域图像进行校正，得到字符整齐的校正图像，包括：将所述待识别字符区域图像的长度和高度进行同比例缩放，得到缩放图像，其中，所述缩放图像的高度为预设高度；通过第二卷积神经网络对所述缩放图像进行字符关键点定位，得到关键点；根据所述关键点和预设位置点的对应关系，确定对应的薄板样条函数TPS；根据所述薄板样条函数TPS对所述缩放图像进行TPS变换，得到所述校正图像。4.根据权利要求1所述的方法，其特征在于，所述循环神经网络包括第一长短时记忆LSTM网络和第二LSTM网络，所述通过循环神经网络对所述一行特征序列进行识别，得到所述待识别字符区域图像中的字符，包括：使用第一LSTM网络对所述一行特征序列进行编码，得到编码后的特征序列；使用第二LSTM网络对所述编码后的特征序列进行解码，得到所述待识别字符区域图像中的字符。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取训练用的样本，所述样本包括字符所在区域的图像；使用所述样本对总网络进行端到端训练，得到训练好的总网络，所述训练好的总网络包括所述第一卷积神经网络和所述循环神经网络。6.一种字符识别装置，其特征在于，包括：提取模块，用于通过第一卷积神经网络对待识别字符区域图像进行特征提取，得到特征图矩阵；切分模块，用于将所述特征图矩阵进行切分，得到一行特征序列；识别模块，用于通过循环神经网络对所述一...

【专利技术属性】
技术研发人员：杨松，
申请(专利权)人：北京小米移动软件有限公司，
类型：发明
国别省市：北京,11