一种基于卷积神经网络的单字图文字识别方法及装置制造方法及图纸

本发明专利技术公开了一种基于卷积神经网络的单字图文字识别方法，该方法包括以下步骤：确定待进行文字识别的目标图像；在所述目标图像中定位字符信息，提取各个字符；根据提取到的各个字符，获得所述目标图像的多个单字图；分别将每个单字图输入到预先训练得到的目标卷积神经网络中，进行前向传播，获得每个单字图的文字识别结果。应用本发明专利技术实施例所提供的技术方案，目标卷积神经网络通过大量单字图样本训练得到，提高了对单字图的文字识别率，提升了泛化能力。本发明专利技术还公开了一种基于卷积神经网络的单字图文字识别装置，具有相应技术效果。

【技术实现步骤摘要】
一种基于卷积神经网络的单字图文字识别方法及装置
本专利技术涉及计算机应用
，特别是涉及一种基于卷积神经网络的单字图文字识别方法及装置。
技术介绍
随着计算机技术的快速发展，模式识别技术也得到了快速发展，文字识别一直是模式识别领域的重要研究课题之一。图像中分离出的字符往往含有形变，如旋转、扭曲、倾斜等。现有的文字识别方法是，针对字符的结构特征，通过对字符的点阵采用非线性变换对变形字符进行校正，以减少类内方差。对于含有噪声的字符，采用中值滤波、高斯滤波等滤波算法对其进行去噪处理。然后将处理后的字符进行二值化，对二值化图像进行细化操作，提取文字的骨架特征。对细化后的文字提取特征向量，最后利用模板匹配、SVW、KNN等分类器进行文字识别。这种方法存在一定的缺点，特别是在对汉字识别时，尤其明显。因为汉字规模较大，同时相似汉字较多，从图像中提取的字符信息往往形变较大，形变的类型各异，容易出现扭曲、倾斜、弹性形变、噪声、笔画断裂缺失等现象。应用现有技术的这种文字识别方法进行文字识别，识别率不高，泛化能力较弱。
技术实现思路
本专利技术的目的是提供一种基于卷积神经网络的单字图文字识别方法及装置，以提高识别率，提升泛化能力。为解决上述技术问题，本专利技术提供如下技术方案：一种基于卷积神经网络的单字图文字识别方法，包括：确定待进行文字识别的目标图像；在所述目标图像中定位字符信息，提取各个字符；根据提取到的各个字符，获得所述目标图像的多个单字图；分别将每个单字图输入到预先训练得到的目标卷积神经网络中，进行前向传播，获得每个单字图的文字识别结果，所述目标卷积神经网络通过大量单字图样本训练得到。在本专利技术的一种具体实施方式中，所述在所述目标图像中定位字符信息，提取各个字符，包括：在所述目标图像中定位字符信息；根据定位结果，对所述目标图像中的字符进行切割操作，获得所述目标图像包含的各个字符。在本专利技术的一种具体实施方式中，所述根据提取到的各个字符，获得所述目标图像的多个单字图，包括：针对提取到的每个字符，对该字符进行二值化处理，并将该字符的尺寸大小调整为设定第一尺寸大小；将调整尺寸大小后的该字符放置于设定第二尺寸大小的背景图像的中心，并进行正则化处理，获得该字符对应的单字图。在本专利技术的一种具体实施方式中，通过以下步骤预先训练得到所述目标卷积神经网络：获得训练数据集和测试数据集，所述训练数据集中包含设定第一数量的单字图样本，所述测试数据集中包含设定第二数量的单字图样本，每个单字图样本的尺寸大小相同，每个单字图样本中包含的字符的尺寸大小相同；初始化卷积神经网络；利用所述训练数据集对所述卷积神经网络进行训练，调整网络参数，确定训练过程中的误差；在所述卷积神经网络迭代设定次数时，将所述测试数据集输入到所述卷积神经网络中进行测试，获得测试正确率；重复执行所述利用所述训练数据集对所述卷积神经网络进行训练，调整网络参数，确定训练过程中的误差的步骤，直至所述卷积神经网络的误差低于预设第一阈值，且所述测试正确率高于预设第二阈值时，停止训练，获得所述目标卷积神经网络。在本专利技术的一种具体实施方式中，所述目标卷积神经网络为多尺度卷积神经网络。一种基于卷积神经网络的单字图文字识别装置，包括：目标图像确定模块，用于确定待进行文字识别的目标图像；字符提取模块，用于在所述目标图像中定位字符信息，提取各个字符；单字图获得模块，用于根据提取到的各个字符，获得所述目标图像的多个单字图；文字识别模块，用于分别将每个单字图输入到预先训练得到的目标卷积神经网络中，进行前向传播，获得每个单字图的文字识别结果，所述目标卷积神经网络通过大量单字图样本训练得到。在本专利技术的一种具体实施方式中，所述字符提取模块，具体用于：在所述目标图像中定位字符信息；根据定位结果，对所述目标图像中的字符进行切割操作，获得所述目标图像包含的各个字符。在本专利技术的一种具体实施方式中，所述单字图获得模块，具体用于：针对提取到的每个字符，对该字符进行二值化处理，并将该字符的尺寸大小调整为设定第一尺寸大小；将调整尺寸大小后的该字符放置于设定第二尺寸大小的背景图像的中心，并进行正则化处理，获得该字符对应的单字图。在本专利技术的一种具体实施方式中，还包括训练模块，用于通过以下步骤预先训练得到所述目标卷积神经网络：获得训练数据集和测试数据集，所述训练数据集中包含设定第一数量的单字图样本，所述测试数据集中包含设定第二数量的单字图样本，每个单字图样本的尺寸大小相同，每个单字图样本中包含的字符的尺寸大小相同；初始化卷积神经网络；利用所述训练数据集对所述卷积神经网络进行训练，调整网络参数，确定训练过程中的误差；在所述卷积神经网络迭代设定次数时，将所述测试数据集输入到所述卷积神经网络中进行测试，获得测试正确率；重复执行所述利用所述训练数据集对所述卷积神经网络进行训练，调整网络参数，确定训练过程中的误差的步骤，直至所述卷积神经网络的误差低于预设第一阈值，且所述测试正确率高于预设第二阈值时，停止训练，获得所述目标卷积神经网络。在本专利技术的一种具体实施方式中，所述目标卷积神经网络为多尺度卷积神经网络。应用本专利技术实施例所提供的技术方案，确定待进行文字识别的目标图像后，在目标图像中定位字符信息，提取各个字符，根据提取到的各个字符，获得目标图像的多个单字图，分别将每个单字图输入到预先训练得到的目标卷积神经网络中，进行前向传播，获得每个单字图的文字识别结果。目标卷积神经网络通过大量单字图样本训练得到，提高了对单字图的文字识别率，提升了泛化能力。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例中一种基于卷积神经网络的单字图文字识别方法的实施流程图；图2为本专利技术实施例中多个单字图样本示意图；图3为本专利技术实施例中卷积神经网络模型的一种示意图；图4为本专利技术实施例中一种基于卷积神经网络的单字图文字识别装置的结构示意图。具体实施方式为了使本
的人员更好地理解本专利技术方案，下面结合附图和具体实施方式对本专利技术作进一步的详细说明。显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。参见图1所示，为本专利技术实施例所提供的一种基于卷积神经网络的单字图文字识别方法的实施流程图，该方法可以包括以下步骤：S110：确定待进行文字识别的目标图像。在本专利技术实施例中，可以根据实际情况确定待进行文字识别的目标图像。如将监控图像确定为待进行文字识别的目标图像。S120：在目标图像中定位字符信息，提取各个字符。目标图像中可能包含一组文字，或者一段文字。确定待进行文字识别的目标图像后，可以对目标图像中的字符信息进行定位，并提取目标图像中的各个字符。在本专利技术的一种具体实施方式中，步骤S120可以包括以下步骤：步骤一：在目标图像中定位字符信息；步骤二：根据定位结果，对目标图像中的字符进行切割操作，获得目标图像包含的各个字符。为便于描述本文档来自技高网...

【技术保护点】
一种基于卷积神经网络的单字图文字识别方法，其特征在于，包括：确定待进行文字识别的目标图像；在所述目标图像中定位字符信息，提取各个字符；根据提取到的各个字符，获得所述目标图像的多个单字图；分别将每个单字图输入到预先训练得到的目标卷积神经网络中，进行前向传播，获得每个单字图的文字识别结果，所述目标卷积神经网络通过大量单字图样本训练得到。

【技术特征摘要】
1.一种基于卷积神经网络的单字图文字识别方法，其特征在于，包括：确定待进行文字识别的目标图像；在所述目标图像中定位字符信息，提取各个字符；根据提取到的各个字符，获得所述目标图像的多个单字图；分别将每个单字图输入到预先训练得到的目标卷积神经网络中，进行前向传播，获得每个单字图的文字识别结果，所述目标卷积神经网络通过大量单字图样本训练得到。2.根据权利要求1所述的基于卷积神经网络的单字图文字识别方法，其特征在于，所述在所述目标图像中定位字符信息，提取各个字符，包括：在所述目标图像中定位字符信息；根据定位结果，对所述目标图像中的字符进行切割操作，获得所述目标图像包含的各个字符。3.根据权利要求1或2所述的基于卷积神经网络的单字图文字识别方法，其特征在于，所述根据提取到的各个字符，获得所述目标图像的多个单字图，包括：针对提取到的每个字符，对该字符进行二值化处理，并将该字符的尺寸大小调整为设定第一尺寸大小；将调整尺寸大小后的该字符放置于设定第二尺寸大小的背景图像的中心，并进行正则化处理，获得该字符对应的单字图。4.根据权利要求3所述的基于卷积神经网络的单字图文字识别方法，其特征在于，通过以下步骤预先训练得到所述目标卷积神经网络：获得训练数据集和测试数据集，所述训练数据集中包含设定第一数量的单字图样本，所述测试数据集中包含设定第二数量的单字图样本，每个单字图样本的尺寸大小相同，每个单字图样本中包含的字符的尺寸大小相同；初始化卷积神经网络；利用所述训练数据集对所述卷积神经网络进行训练，调整网络参数，确定训练过程中的误差；在所述卷积神经网络迭代设定次数时，将所述测试数据集输入到所述卷积神经网络中进行测试，获得测试正确率；重复执行所述利用所述训练数据集对所述卷积神经网络进行训练，调整网络参数，确定训练过程中的误差的步骤，直至所述卷积神经网络的误差低于预设第一阈值，且所述测试正确率高于预设第二阈值时，停止训练，获得所述目标卷积神经网络。5.根据权利要求4所述的基于卷积神经网络的单字图文字识别方法，其特征在于，所述目标卷积神经网络为多尺度卷积神经网络。6.一种基于卷积神经...

【专利技术属性】
技术研发人员：胡志成，蒋菲，
申请(专利权)人：金蝶软件中国有限公司，
类型：发明
国别省市：广东,44