基于卷积神经网络和支持向量机的非标准字符识别方法技术

本发明专利技术公开了基于卷积神经网络和支持向量机的非标准字符识别方法：1、采集非标准字符的图像信号作为样本数据；2、建立卷积神经网络并初始化；3、将训练样本数据集通过卷积神经网络完成前向传播；4、对3中的多层感知器进行误差计算和梯度计算，若误差收敛，则提取出特征数据并进入6，否则，进入5；5、将4中得到的误差和梯度用反向传播算法，经过卷积神经网络逐层传播到网络底层，并判断该层是否为输入层：若是，则进入3，否则，继续判断下一层是否为输入层，直至确定输入层并进入3；6、将特征数据传输到支持向量机中进行训练，建立非标准字符识别训练模型；7、将待识别的非标准字符信号输入到非标准字符识别训练模型进行识别。

Nonstandard character recognition method based on convolutional neural network and support vector machine

The invention discloses a non standard convolutional neural network character recognition method based on support vector machine and image signal acquisition: 1, non standard characters as sample data; 2, the establishment of convolutional neural network and initialization; 3, the training sample data set by convolution neural network propagation; 4, to 3 in multilayer perceptron the error calculation and gradient calculation, if the error is convergent, extract the feature data and into the 6, otherwise, enter 5; 5, the back-propagation algorithm with 4 gain error and gradient, after convolution neural network layer spread to the network layer, and the judgment of the layer is the input layer: if so, whether in 3, otherwise, to determine the next layer is the input layer, to determine the input layer and into 3; 6, the characteristics of data transmission to the support vector machine for training, the establishment of non standard character Recognition training model; 7. Input non-standard character signals to the non-standard character recognition training model for recognition.

【技术实现步骤摘要】
基于卷积神经网络和支持向量机的非标准字符识别方法
本专利技术涉及一种基于卷积神经网络和支持向量机的非标准字符识别方法。
技术介绍
非标准字符的识别作为图像识别应用中的重要分支，其在生产生活中的地位也越来越重要。目前，标准字符的识别技术理论已经日趋成熟，但是大多数的数字或是英文字母的识别方法在实际应用过程中或多或少都会出现一些问题，且不要说是更加复杂的中文字符以及其他字符的非标准表示了，且在复杂的应用场景中或是移动设备上，识别效率和识别准确率都比较低。例如，逆传播神经网络对于样本数据集的要求很高，否则无法达到较高的识别准确率。
技术实现思路
针对上述问题，本专利技术提供一种基于卷积神经网络和支持向量机的非标准字符识别方法，大大提高了各类字符整体识别准确率和效率，尤其适用于数字和英文字母的识别。为实现上述技术目的，达到上述技术效果，本专利技术通过以下技术方案实现：基于卷积神经网络和支持向量机的非标准字符识别方法，包括如下步骤：步骤1、采集非标准字符的图像信号作为样本数据，生成训练样本数据集和测试数据集；步骤2、建立卷积神经网络并初始化；步骤3、将训练样本数据集通过卷积神经网络的多层感知器完成前向传播；步骤4、对步骤3中的多层感知器进行误差计算和梯度计算，并判断误差是否为收敛：若收敛，则提取出特征数据并进入步骤6，否则，进入步骤5；步骤5、将步骤4中得到的误差和梯度用反向传播算法，经过卷积神经网络逐层传播到网络底层，并且逐层更新网络的权重系数，并判断该层是否为输入层：若是，则进入步骤3，否则，继续判断下一层是否为输入层，直至确定输入层并进入步骤3；步骤6、将通过卷积神经网络模型经训练提取的特征数据传输到支持向量机中进行训练，当测试数据集的识别准确率为100％时，则认为成功建立了非标准字符识别训练模型；步骤7、将待识别的非标准字符信号输入到非标准字符识别训练模型进行识别，获得识别结论。优选，步骤2中初始化卷积神经网络的参数，包括卷积核的数量、降采样层的数量、卷积核的大小和降采样层的降幅，并初始化卷积核的权重和偏置。优选，步骤1中生成训练样本数据集包括如下步骤：1)从样本数据集中取出一批样本(A，BC)，其中A是样本字符的向量，B是A对应的期望值，C是标准字符集，BC是样本数据集中标准字符C对应字符的期望值；2)将A输入卷积神经网络；3)计算出相应的实际输出DC，其中，DC＝Fn(…F2(F1(BC*W1)W2)…Wn)，Fn表示第n层的激活函数，Wn表示第n层的权值，*是卷积运算符号。优选，步骤3中，将训练样本数据集通过并行FIFO实现无特征化地、均匀地输入卷积神经网络，训练样本数据分别经过卷积层1和降采样层1、卷积层2和降采样层2……卷积层n和降采样层n，实现了前向传播的过程，其中，n是卷积神经网络的第n层。优选，步骤5中，将步骤4中得到的误差和梯度用反向传播算法，反向经过降采样层n和卷积层n……降采样层2和卷积层2、降采样层1和卷积层1，逐层传播到网络底层，其中，反向传播算法具体包括如下步骤：1)对样本数据集批量前向传播，计算出卷积神经网络中所有的激活值；2)针对每一层的节点，对该节点从后向前进行求导，计算权值的偏导数，并更新权值的具体参数；3)重复上述步骤1)和2)对神经网络各参数进行迭代计算，使代价函数收敛并得到一个最小值，以此求解得到卷积神经网络的模型。本专利技术的有益效果是：本专利技术通过将卷积神经网络模型和支持向量机模型进行一定的调整并通过适当算法进行有机结合，由于卷积神经网络模型和支持向量机模型的目标是区分性的，这使得生成的非标准字符识别模型的输出更优化，规避了两者的短处，同时发扬了两者的长处，使得本专利技术在用于实际应用时的整体识别准确率和效率都达到了一个很高的水平，特别是对数字和英文字母的识别能力很强。附图说明图1是本专利技术基于卷积神经网络和支持向量机的非标准字符识别方法的流程图。具体实施方式下面结合附图和具体的实施例对本专利技术技术方案作进一步的详细描述，以使本领域的技术人员可以更好的理解本专利技术并能予以实施，但所举实施例不作为对本专利技术的限定。基于卷积神经网络和支持向量机的非标准字符识别方法，如图1所示，包括如下步骤：步骤1、采集非标准字符的图像信号作为样本数据，生成训练样本数据集和测试数据集。步骤1中生成训练样本数据集包括如下步骤：1)从样本数据集中取出一批样本(A，BC)，其中A是样本字符的向量，B是A对应的期望值，C是标准字符集，BC是样本数据集中标准字符C对应字符的期望值；2)将A输入卷积神经网络；3)计算出相应的实际输出DC，其中，DC＝Fn(…F2(F1(BC*W1)W2)…Wn)，Fn表示第n层的激活函数，Wn表示第n层的权值，*是卷积运算符号。其中卷积运算是用卷积滤波器在上层网络结构中做卷积运算，然后进行非线性变换，相较而言，降采样运算只采用最大池化法进行总结，即最大池采样是通过一个滤波器提取上层网络结构的特征数据，并且不经过线性运算，每次滤波后的最大值是数据降采样后的一个特征值。卷积神经网络是一种前馈神经网络，人工神经元可以响应周围单元，可以进行大型图像处理，它包括卷积层、降采样层和全连接层，其中：卷积层：样本输入的尺寸统一为(K,L)；卷积核的尺寸为(M,N)；卷积核的步长为(O,P)；经过卷积层得到的输出图像尺寸为(Q,R)。则输出尺寸的公式可表示为降采样层：样本输入的尺寸统一为(S,T)；滤波器窗口的尺寸为(U,V)；降采样步长要保证滤波器能够覆盖整个数据矩阵而每个滤波器的窗口矩阵的数据不重叠；经过降采样层得到的输出图像尺寸为(W,X)。则得到输出尺寸的公式为全连接层：输入层神经元的数量为后一个降采样层长和宽的乘积，输出层神经元的数量为识别库总的符号数量的个数。步骤2、建立卷积神经网络并初始化。步骤2中初始化卷积神经网络的参数，包括卷积核的数量、降采样层的数量、卷积核的大小和降采样层的降幅，同时还需要初始化卷积核的权重和偏置。步骤3、将训练样本数据集通过卷积神经网络的多层感知器完成前向传播。步骤3中，将训练样本数据集通过并行FIFO(先入先出队列)实现无特征化地、均匀地输入卷积神经网络，训练样本数据分别经过卷积层1和降采样层1、卷积层2和降采样层2……卷积层n和降采样层n，通过多层感知器最终实现了前向传播的过程，其中，n是卷积神经网络的第n层。步骤4、对步骤3中的多层感知器进行误差计算和梯度计算，并判断误差是否为收敛：若收敛，则提取出特征数据并进入步骤6(进入支持向量机)，否则，进入步骤5(进行卷积神经网络的学习)。完成前向传播后，训练样本数据集传到多层感知器中并计算输出值和期望值之间的差值，按照极小化误差的方法使结果逐步收敛，同时将误差向量和梯度向量保存到存储器中。步骤5、将步骤4中得到的误差和梯度用反向传播算法，经过卷积神经网络逐层传播到网络底层，并且逐层更新网络的权重系数，并判断该层是否为输入层：若是，则进入步骤3，否则，继续判断下一层是否为输入层，直至确定输入层并进入步骤3。步骤5中，将步骤4中得到的误差和梯度用反向传播算法，反向经过降采样层n和卷积层n……降采样层2和卷积层2、降采样层1和卷积层1，逐层传播到网络底层，，并且逐层更新网络的权重系数。其中，反向传播算法具体包括如本文档来自技高网...

【技术保护点】
基于卷积神经网络和支持向量机的非标准字符识别方法，其特征在于，包括如下步骤：步骤1、采集非标准字符的图像信号作为样本数据，生成训练样本数据集和测试数据集；步骤2、建立卷积神经网络并初始化；步骤3、将训练样本数据集通过卷积神经网络的多层感知器完成前向传播；步骤4、对步骤3中的多层感知器进行误差计算和梯度计算，并判断误差是否为收敛：若收敛，则提取出特征数据并进入步骤6，否则，进入步骤5；步骤5、将步骤4中得到的误差和梯度用反向传播算法，经过卷积神经网络逐层传播到网络底层，并且逐层更新网络的权重系数，并判断该层是否为输入层：若是，则进入步骤3，否则，继续判断下一层是否为输入层，直至确定输入层并进入步骤3；步骤6、将通过卷积神经网络模型经训练提取的特征数据传输到支持向量机中进行训练，当测试数据集的识别准确率为100％时，则认为成功建立了非标准字符识别训练模型；步骤7、将待识别的非标准字符信号输入到非标准字符识别训练模型进行识别，获得识别结论。

【技术特征摘要】
1.基于卷积神经网络和支持向量机的非标准字符识别方法，其特征在于，包括如下步骤：步骤1、采集非标准字符的图像信号作为样本数据，生成训练样本数据集和测试数据集；步骤2、建立卷积神经网络并初始化；步骤3、将训练样本数据集通过卷积神经网络的多层感知器完成前向传播；步骤4、对步骤3中的多层感知器进行误差计算和梯度计算，并判断误差是否为收敛：若收敛，则提取出特征数据并进入步骤6，否则，进入步骤5；步骤5、将步骤4中得到的误差和梯度用反向传播算法，经过卷积神经网络逐层传播到网络底层，并且逐层更新网络的权重系数，并判断该层是否为输入层：若是，则进入步骤3，否则，继续判断下一层是否为输入层，直至确定输入层并进入步骤3；步骤6、将通过卷积神经网络模型经训练提取的特征数据传输到支持向量机中进行训练，当测试数据集的识别准确率为100％时，则认为成功建立了非标准字符识别训练模型；步骤7、将待识别的非标准字符信号输入到非标准字符识别训练模型进行识别，获得识别结论。2.根据权利要求1所述的基于卷积神经网络和支持向量机的非标准字符识别方法，其特征在于，步骤2中初始化卷积神经网络的参数，包括卷积核的数量、降采样层的数量、卷积核的大小和降采样层的降幅，并初始化卷积核的权重和偏置。3.根据权利要求1所述的基于卷积神经网络和支持向量机的非标准字符识别方法，其特征在于，步骤1中生成训练样本数据集包括如下步骤：1)从样本数据集中取出一批样本(A，BC)，其中A是样本字符的向量，B是A对应的期望值，C是标准字符集，BC是样本数据集中标准字符C对应字符的期...

【专利技术属性】
技术研发人员：顾亦熹，高沁瑶，高兰英，高留其，
申请(专利权)人：昆山遥矽微电子科技有限公司，
类型：发明
国别省市：江苏,32