基于多目标优化的稀疏受限玻尔兹曼机的手写体识别方法技术

本发明专利技术提出了一种基于多目标优化的稀疏受限玻尔兹曼机的手写体识别方法，用于解决现有技术中存在的识别误差率高的技术问题。实现步骤为：获取归一化训练集和测试集；设定稀疏受限玻尔兹曼机的优化迭代停止次数；对稀疏受限玻尔兹曼机进行优化；选取数据集；利用多目标算法优化稀疏受限玻尔兹曼机，获取参数集；对稀疏受限玻尔兹曼机参数集进行更新；获取归一化训练集的输出；利用归一化训练集的输出对分类器进行训练；判断是否达到优化迭代停止次数；对归一化测试集进行预测分类，获得分类标签。本发明专利技术的识别误差率低，可用于手写体识别等图像识别。

Handwriting recognition method based on multi objective optimization and sparse constrained Boltzmann machine

The present invention proposes a sparse constrained Boltzmann machine based on multi-objective optimization for handwriting recognition, which is used to solve the technical problems of high recognition error rate in the prior art. The method comprises the following steps: obtaining the normalized training set and test set; stopping time optimization iterative sparse set restricted Boltzmann machine; the sparse restricted Boltzmann machine is optimized; select data sets; optimization algorithm of sparse restricted Boltzmann machine with multi objective, to obtain the parameters set; update the sparse restricted Boltzmann machine to obtain the output parameter set; normalized training set; training the classifier output by the normalized training set; judging whether to optimize the iterative stopping times; predict the classification of the normalized test set, classification label. The recognition error rate of the invention is low, and can be used for image recognition such as handwriting recognition.

【技术实现步骤摘要】
基于多目标优化的稀疏受限玻尔兹曼机的手写体识别方法
本专利技术属于深度学习和进化计算相结合的
，涉及一种基于稀疏受限玻尔兹曼机的手写体识别方法，具体涉及一种基于多目标优化的稀疏受限玻尔兹曼机的手写体识别方法，可用于图像识别领域和深度神经网络的特征降维。
技术介绍
神经网络的发展使得图像识别领域取得惊人进展，从而推动人工智能和人机交互的踏步前进。1986年Hinton在MITPress的第一卷发表的《LearningandrelearninginBoltzmannmachines》，该文献提出玻尔兹曼机(BM)，BM是一种根植于统计力学的随机神经网络，其具有强大的无监督学习能力，能够学习数据中复杂的规则。但是玻尔兹曼机结构复杂，训练的时间非常长。Smolensky在1986年专著《Informationprocessingindynamicalsystems:foundationsofharmonytheory》中引入一种限制玻尔兹曼机(RBM)，RBM具有很好的性质，在一些问题上取得了较好的效果。2006年，Hinton在neuralcomputation的18卷第7期发表的《Afastlearningalgorithmfordeepbeliefnets》,该文献提出一个深度信念网络(DBN)被视为由若干个限制玻尔兹曼机(RBM)堆叠在一起，并给出该模型的一个高效学习算法。这个算法成为了其后至今深度学习的主要框架之一。手写体识别是多年来的研究热点问题。随着经济的迅速发展，手写体识别系统还会有更大的应用空间，这就要求手写体识别的误差率达到一个更低水平。研究者提出了许多方法解决手写体识别问题，按照使用的特征不同，这些方法可以分为两类：基于几何结构特征方法和基于统计特征方法。基于统计特征方法是利用点密度、特征区域等统计特征进行手写体识别，其优点是易训练且可降低书写随意性的干扰，但是由于其单一向的局限性导致手写体识别的误差率较高。由RBM组成的神经网络这种基于统计特征方法在手写体识别问题取得了较低的误差率，但是如果只是单纯地利用RBM提取特征则会产生冗余，识别效果就会降低，所以许产生了许多RBM的优化方法。目前RBM的优化方法可分为基于扩增数据集的优化算法和基于稀疏规则项的优化方法两类，其中，基于稀疏规则项的优化方法的原理是通过在优化函数中加入稀疏规则项，从而将先验知识人为的加入优化过程中，获得稀疏受限玻尔兹曼机(SRBM)优良的特征如低秩、稀疏、平滑等,从而获得较低的识别误差率。例如2014年，姬楠楠等人在patternRecongnit第47卷第9期发表文章《Asparse-responsedeepbeliefnetworkbasedonratedistortiontheory》，公开了一种基于率失真理论的稀疏受限玻尔兹曼的手写体识别方法，该文献基于率失真理论提出SR-RBM，其原理是在原来传统受限玻尔兹曼机的基础上增加了一范数稀疏规则项，实现特征的自动选择，从而降低识别误差率。但是，该方法需要人为定义稀疏规则项在优化函数中所占的权重，该方法中权重参数的存在会影响手写体识别的识别效果和误差率。
技术实现思路
本专利技术的目的在于克服上述现有技术存在的缺陷，提出了一种基于多目标优化的稀疏受限玻尔兹曼机的手写体识别方法，用于解决现有技术中存在的识别误差率高的技术问题。为实现上述目的，本专利技术采取的技术方案包括如下步骤：(1)获取归一化训练集V和测试集T：将手写体数据库的一部分作为训练集，一部分作为测试集，并对训练集和测试集进行归一化，得到归一化训练集V和测试集T；(2)设定稀疏受限玻尔兹曼机的优化迭代停止次数S，优化计数器的值c，并初始化c＝1；(3)对稀疏受限玻尔兹曼机进行优化：将归一化训练集V作为稀疏受限玻尔兹曼机的输入，利用对比散度算法，对稀疏受限玻尔兹曼机进行优化，得到稀疏受限玻尔兹曼机的优化参数：权重参数w、可视单元v的偏置a和隐单元h的偏置b，并令c＝c+1；(4)从步骤(3)产生的b中随机选取m个参数，组成数据集Ds；(5)利用多目标进化算法对数据集Ds进行优化，得到优化数据集Ds'；(6)对稀疏受限玻尔兹曼机隐单元h的偏置b进行更新：利用优化数据集Ds'替换稀疏受限玻尔兹曼机隐单元h的偏置b中对应的参数，得到稀疏受限玻尔兹曼机隐单元h的偏置b'；(7)获取归一化训练集V的输出O：将归一化训练集V输入到权重参数w、可视单元v的偏置a和隐单元h的偏置b'的稀疏受限玻尔兹曼机中，得到归一化训练集V的输出为O；(8)利用归一化训练集V的输出O对softmax分类器进行训练：将训练集V的输出O输入到softmax分类器中进行训练，得到权重w0和偏置b0的softmax分类器中，得到训练好的softmax分类器；(9)判断优化计数器的值c是否达到优化迭代停止次数S，若是，执行步骤(10)，否则，执行步骤(3)；(10)对归一化测试集T进行预测分类：(10a)将归一化测试集T输入到权重参数w、可视单元v的偏置a和隐单元h的偏置b'的稀疏受限玻尔兹曼机中，得到测试集T的输出Ot；(10b)将测试集T的输出Ot输入到训练好的softmax分类器中，得到测试集T的分类标签，实现对手写体的识别。本专利技术与现有技术相比，具有如下优点：本专利技术利用多目标优化算法优化稀疏受限玻尔兹曼机，充分利用多目标解决互相冲突的目标函数的能力，克服了现有技术中权重参数影响识别误差率的问题，有效地降低了识别误差率。附图说明图1是本专利技术的实现流程图；图2是本专利技术采用的稀疏受限玻尔兹曼机的结构示意图；图3是仿真所用的手写数字MNIST数据集中的样例图；图4是基于率失真理论的稀疏受限玻尔兹曼机对MNIST训练集进行识别的仿真结果图；图5是本专利技术对MNIST训练集进行识别的仿真结果图。具体实施方式下面结合附图和具体实施例，对本专利技术作进一步的描述。参照图1，一种基于多目标优化的稀疏受限玻尔兹曼机的手写体识别方法，包括如下步骤：步骤1)获取归一化训练集V和测试集T：将手写体数据库的一部分作为训练集，一部分作为测试集，并对训练集和测试集进行归一化，得到归一化训练集V和测试集T；对训练集、测试集进行归一化预处理操作：归一化操作指将选定后的每张训练集图片的像素值由0到255批处理操作，归一化到0到1，得到归一化后的训练集和测试集；原始的数据集图片中每个点的像素值均为0到255的整数值，这些整数值代表不同级别的灰度值，归一化的操作就是将这些0到255的整数值变成0至1范围内的小数值，此时的手写数字训练集为归一化训练集；步骤2)设定稀疏受限玻尔兹曼机的优化迭代停止次数S，优化计数器的值c，并初始化c＝1；稀疏受限玻尔兹曼机的结构如图2所示，其包括两层结构：可视单元和隐单元。v0和h0分别代表第0个可视单元、第0个隐单元。只有可视单元和隐单元之间存在连接，隐单元层内或者可视单元层内无连接。根据归一化训练集图像大小均为28*28的灰度图像，所以本专利技术的方法的可视单元v的数量784，可视单元的偏置记做a；隐单元h的个数本专利技术设置为196个，隐单元的偏置记做b；学习率ε设置为0.3，动量项设置为[0.5,0.4,0.3,0.2,0.1]；动量项的意义使本次参数值修本文档来自技高网...

【技术保护点】
一种基于多目标优化的稀疏受限玻尔兹曼机的手写体识别方法，包括如下步骤：(1)获取归一化训练集V和测试集T：将手写体数据库的一部分作为训练集，一部分作为测试集，并对训练集和测试集进行归一化，得到归一化训练集V和测试集T；(2)设定稀疏受限玻尔兹曼机的优化迭代停止次数S，优化计数器的值c，并初始化c＝1；(3)对稀疏受限玻尔兹曼机进行优化：将归一化训练集V作为稀疏受限玻尔兹曼机的输入，利用对比散度算法，对稀疏受限玻尔兹曼机进行优化，得到稀疏受限玻尔兹曼机的优化参数：权重参数w、可视单元v的偏置a和隐单元h的偏置b，并令c＝c+1；(4)从步骤(3)产生的b中随机选取m个参数，组成数据集Ds；(5)利用多目标进化算法对数据集Ds进行优化，得到优化数据集Ds'；(6)对稀疏受限玻尔兹曼机隐单元h的偏置b进行更新：利用优化数据集Ds'替换稀疏受限玻尔兹曼机隐单元h的偏置b中对应的参数，得到稀疏受限玻尔兹曼机隐单元h的偏置b'；(7)获取归一化训练集V的输出O：将归一化训练集V输入到权重参数w、可视单元v的偏置a和隐单元h的偏置b'的稀疏受限玻尔兹曼机中，得到归一化训练集V的输出为O；(8)利用归一化训练集V的输出O对softmax分类器进行训练：将训练集V的输出O输入到softmax分类器中进行训练，得到softmax分类器权重w0和偏置b0，即得到训练好的softmax分类器；(9)判断优化计数器的值c是否达到优化迭代停止次数S，若是，执行步骤(10)，否则，执行步骤(3)；(10)对归一化测试集T进行预测分类：(10a)将归一化测试集T输入到权重参数w、可视单元v的偏置a和隐单元h的偏置b'的稀疏受限玻尔兹曼机中，得到测试集T的输出Ot；(10b)将测试集T的输出Ot输入到训练好的softmax分类器中，得到测试集T的分类标签，实现对手写体的识别。...

【技术特征摘要】
1.一种基于多目标优化的稀疏受限玻尔兹曼机的手写体识别方法，包括如下步骤：(1)获取归一化训练集V和测试集T：将手写体数据库的一部分作为训练集，一部分作为测试集，并对训练集和测试集进行归一化，得到归一化训练集V和测试集T；(2)设定稀疏受限玻尔兹曼机的优化迭代停止次数S，优化计数器的值c，并初始化c＝1；(3)对稀疏受限玻尔兹曼机进行优化：将归一化训练集V作为稀疏受限玻尔兹曼机的输入，利用对比散度算法，对稀疏受限玻尔兹曼机进行优化，得到稀疏受限玻尔兹曼机的优化参数：权重参数w、可视单元v的偏置a和隐单元h的偏置b，并令c＝c+1；(4)从步骤(3)产生的b中随机选取m个参数，组成数据集Ds；(5)利用多目标进化算法对数据集Ds进行优化，得到优化数据集Ds'；(6)对稀疏受限玻尔兹曼机隐单元h的偏置b进行更新：利用优化数据集Ds'替换稀疏受限玻尔兹曼机隐单元h的偏置b中对应的参数，得到稀疏受限玻尔兹曼机隐单元h的偏置b'；(7)获取归一化训练集V的输出O：将归一化训练集V输入到权重参数w、可视单元v的偏置a和隐单元h的偏置b'的稀疏受限玻尔兹曼机中，得到归一化训练集V的输出为O；(8)利用归一化训练集V的输出O对softmax分类器进行训练：将训练集V的输出O输入到softmax分类器中进行训练，得到softmax分类器权重w0和偏置b0，即得到训练好的softmax分类器；(9)判断优化计数器的值c是否达到优化迭代停止次数S，若是，执行步骤(10)，否则，执行步骤(3)；(10)对归一化测试集T进行预测分类：(10a)将归一化测试集T输入到权重参数w、可视单元v的偏置a和隐单元h的偏置b'的稀疏受限玻尔兹曼机中，得到测试集T的输出Ot；(10b)将测试集T的输出Ot输入到训练好的softmax分类器中，得到测试集T的分类标签，实现对手写体的识别。2.根据权利要求1所述的基于多目标优化的稀疏受限玻尔兹曼机的手写体识别方法，其特征在于，步骤(5)中所述的利用多目标进化算法对数据集...

【专利技术属性】
技术研发人员：李阳阳，白小玉，焦李成，刘芳，尚荣华，马文萍，马晶晶，缑水平，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61