一种基于深度学习的手写中文识别方法技术

本发明专利技术涉及一种基于深度学习的手写中文识别方法，使用深层架构基于提取出的手写文字的特征向量和训练好的参数对手写文字进行粗分类，使用MQDF分类器基于训练好的参数和每个手写字符对应的100个候选类别对手写文字进行细分类。在深层架构粗分类过程中，使用无监督学习将深层架构的隐藏层一层层的构建起来，然后使用监督学习进一步提升深层架构的特征提取能力。

A Handwritten Chinese Recognition Method Based on Deep Learning

The present invention relates to a method of handwritten Chinese recognition based on in-depth learning. The deep structure is used to roughly classify handwritten Chinese based on extracted feature vectors and trained parameters, and the MQDF classifier is used to subdivide handwritten Chinese based on trained parameters and 100 candidate categories corresponding to each handwritten character. In the process of rough classification of deep architecture, unsupervised learning is used to construct the hidden layer of deep architecture layer by layer, and then supervised learning is used to further enhance the feature extraction ability of deep architecture.

【技术实现步骤摘要】
一种基于深度学习的手写中文识别方法
本专利技术涉及一种基于深度学习的手写中文识别方法，其中包括深度置信网络和手写中文识别等技术。
技术介绍
用机器进行手写文字识别，具有现实意义，并且多年来被作为一个比较流行的课题进行研究。近年来，随着触摸屏移动终端设备的普及，人们越来越需要一种能够快速有效的将书写在触摸屏、手写板等设备的汉字转换成汉字编码的方法。基于笔画移动轨迹的联机手写识别，已经得到了越来越多人的关注。许多方法已经被提出来解决这个问题，但是现有的无约束手写字符识别结果仍然不能满足现实应用的需要。联机手写中文识别是一种联机的中文识别手段，在各种自动识别输入的方法中，它是能够代替或部分代替人工编码输入的惟一可行的方法。联机手写中文识别的研究开始于上世纪70年代，从上世纪80年代开始，得到了越来越多的关注。从20世纪90年代开始，对于联机手写中文识别的研究，主要集中在减少为了正确识别中文而强加给用户的约束。例如，字与字之间不能有衔接，必须写正楷字等等。对于联机手写中文识别，最重要的问题还是在于，对于不同的用户，所写的字的笔顺和笔画数不同。从90年代开始，联机手写中文识别的对象由楷书转变为行书。行书在我们日常生活中经常出现，它的笔顺和笔画数因用户的不同而变动性很大。现在的手写识别系统对楷书的识别率已经很高，但是对行书的识别仍是一个亟待解决的问题。对行书的识别是现在大多数联机手写中文识别系统的目标，因为大多数人都是以行书方式书写。现在，对于正规的中文书写，识别的正确率可以达到98％。但是，对于行书，正确率很难达到90％。虽然市场上已经存在很多手写输入软件，但是效果并不好，不管是识别的正确率还是用户体验都比较差。现在的技术现状与市场需求之间的差距表明，联机手写中文输入的问题并没有解决，并且留给我们很大的研究空间。深层架构由许多层非线性运算组成，例如在神经网络中由许多隐藏层组成，或在复杂架构中重复使用许多子模块。深度学习指的是对深层架构进行训练并调整里面的参数来完成机器学习任务。深度学习方法可以用来进行数据分类、数据压缩等，已经应用到图像和文本处理等多个领域。深度置信网络(deepbeliefnetworks,DBN)是一个包括很多隐藏层的神经网络模型。在DBN等深层架构中我们很难优化权值，Hinton等人提出了一种贪心无监督训练方法来解决这个问题并取得了很好的结果。DBN的学习过程分为两步：一层层抽取输入信息的无监督学习和用固定标签微调整个网络的监督学习。这种分两步学习的方法降低了学习深层架构多个隐藏层参数的难度。
技术实现思路
本专利技术解决的技术问题是：传统手写识别方法的识别效果不能满足日常应用需求。本专利技术提供了一种基于深度学习的手写中文识别方法，来提升现实中手写中文识别的正确率。该方法将深层架构的抽象能力和指数损失函数的分类能力相结合，利用深层架构进行粗分类，然后使用改进的二次分类函数(modifiedquadraticdiscriminantfunction，MQDF)进行细分类，进一步提高手写识别正确率。本专利技术解决现有技术中存在的问题所采用的技术方案为：提供一种基于深度学习的手写中文识别方法，包括如下步骤：P2DMN归一化：使用P2DNM(pseudo2Dmomentnormalization)方法将在线手写字符归一化；NCFE特征提取：使用NCFE(normalization-cooperatedfeatureextraction)方法将归一化后的手写字符的特征提取出来；ADBN粗分类：ADBN(adaptivedeepbeliefnetworks)使用深层架构基于提取出的手写字符的特征向量和训练好的参数对手写文字进行粗分类，对于每一个手写字符都输出对应的100个候选类别；MQDF细分类：使用MQDF(modifiedquadraticdiscriminantfunction)分类器基于训练好的参数和每个手写字符对应的100个候选类别对手写文字进行细分类。使用Fisher-LDA方法来首先降低特征向量的维数。本专利技术的进一步技术方案是：在ADBN粗分类中，分为无监督学习和监督学习方法，包括如下步骤：无监督学习：ADBN使用RBM(restrictedBoltzmannmachines)为基本模块，将深层架构的隐藏层一层层的构建起来，然后使用线性RBM把输出层构建起来。数据集中所有的训练数据和测试数据都被用来初始化N层网络的参数空间W；监督学习：使用梯度下降方法在指数损失函数的引导下对深层架构进一步优化。数据集中所有的训练数据，都被用来优化参数空间W，使其具有更好的分类性能。本专利技术的技术效果是：本专利技术涉及一种基于深度学习的手写中文识别方法，使用深层架构基于提取出的手写文字的特征向量和训练好的参数对手写文字进行粗分类，使用MQDF分类器基于训练好的参数和每个手写字符对应的100个候选类别对手写文字进行细分类。系统可以自动完成手写中文字符识别，解决了传统识别方法准确率低的问题。在深层架构粗分类过程中，使用无监督学习将深层架构的隐藏层一层层的构建起来，然后使用监督学习进一步提升深层架构的特征提取能力。附图说明图1为本专利技术的流程图。图2为本专利技术的ADBN结构图。图3为本专利技术的ADBN训练方法。具体实施方式下面结合具体实施例，对本专利技术技术方案进一步说明。如图1所示，本专利技术的具体实施方式是：提供一种基于深度学习的手写中文识别方法，包括如下步骤：步骤100：P2DMN归一化，使用P2DMN方法将在线手写字符归一化。P2DMN方法是刘成林等人2005年提出来的一种用于手写中文识别的归一化方法。步骤200：NCFE特征提取，使用NCFE方法将归一化后的手写字符的特征提取出来。NCFE方法是刘成林等人2004年提出来的一种用于手写中文识别的特征提取方法。步骤300：ADBN粗分类，使用深层架构(ADBN)基于提取出的手写字符的特征向量和训练好的参数对手写文字进行粗分类，对于每一个手写字符都输出对应的100个候选类别。手写中文字符识别包括几千类，为了提高精度，需要将分类过程分解为粗分类和细分类两步：(1)使用深层架构来选择前面C个最可能是输入的手写字符标签的类别。在本专利技术中，C＝100。(2)使用MQDF分类器从C个候选类别中选择一个最可能是输入的手写字符标签的类别(步骤400)，MQDF方法是Kimura等人1987年提出的用于中文字符识别的方法。粗分类用到的深层架构的输入为经NCFE方法提取出来的手写字符的特征，输出为手写字符所属的类别。一个手写字符数据集可以表示为：其中L是手写字符的个数，D是手写字符的特征个数。X的每一列是一个手写字符x。一个手写字符可以看作是空间中的一个向量，其中第j个坐标对应第j个特征。Y是与L个手写字符对应的标签数据集，可以表示为：其中C是数据集中候选类别个数。在本专利技术中，C＝100。Y的每一列是一个在空间中的向量，其中第j个坐标对应第j个类别。本专利技术将用深层架构使用L个手写字符训练构建X→Y的映射函数。训练后，当一个新的手写字符x输入时，深层架构可以使用映射函数确定x对应的标签y。ADBN的结构如图2所示，它是一个全连接定向的多层神经网络，包括一个输入层h0，N个隐藏层h1,h2,...,h本文档来自技高网...

【技术保护点】
1.一种基于深度学习的手写中文识别方法，包括如下步骤：P2DMN归一化：使用P2DNM（pseudo 2D moment normalization）方法将在线手写字符归一化；NCFE特征提取：使用NCFE（normalization‑cooperated feature extraction）方法将归一化后的手写字符的特征提取出来；ADBN粗分类：ADBN（adaptive deep belief networks）使用深层架构基于提取出的手写字符的特征向量和训练好的参数对手写文字进行粗分类，对于每一个手写字符都输出对应的100个候选类别；MQDF细分类：使用MQDF（modified quadratic discriminant function）分类器基于训练好的参数和每个手写字符对应的100个候选类别对手写文字进行细分类；使用Fisher‑LDA方法来首先降低特征向量的维数。

【技术特征摘要】
1.一种基于深度学习的手写中文识别方法，包括如下步骤：P2DMN归一化：使用P2DNM（pseudo2Dmomentnormalization）方法将在线手写字符归一化；NCFE特征提取：使用NCFE（normalization-cooperatedfeatureextraction）方法将归一化后的手写字符的特征提取出来；ADBN粗分类：ADBN（adaptivedeepbeliefnetworks）使用深层架构基于提取出的手写字符的特征向量和训练好的参数对手写文字进行粗分类，对于每一个手写字符都输出对应的100个候选类别；MQDF细分类：使用MQDF（modifiedquadraticdiscriminan...

【专利技术属性】
技术研发人员：周树森，邹海林，柳婵娟，臧睦君，刘通，
申请(专利权)人：鲁东大学，
类型：发明
国别省市：山东,37