一种基于Laplace函数约束的稀疏深度置信网络图像分类方法技术

本发明专利技术提供一种基于Laplace函数约束的稀疏深度置信网络图像分类方法，属于图像处理、深度学习领域。该方法首先基于对灵长类视觉皮层分析的启发，在无监督阶段似然函数中引入惩罚正则项，使用CD算法最大化目标函数的同时，通过Lapalce稀疏约束获得训练集的稀疏分布，可以使无标签数据学习到直观的特征表示。其次，提出一种改进的稀疏深度信念网络，使用拉普拉斯分布诱导隐含层节点的稀疏状态，同时将该分布中的尺度参数用来控制稀疏的力度。最后使用随机梯度下降法对LSDBN网络的参数进行训练学习。本发明专利技术所提的方法即使每类在样本很少的情况下，始终达到最好的识别准确度，并且具有良好的稀疏性能。

【技术实现步骤摘要】
一种基于Laplace函数约束的稀疏深度置信网络图像分类方法
本专利技术涉及图像处理、深度学习领域，特别是涉及一种基于Laplace函数约束的稀疏深度置信网络(LaplaceSparseDeepBeliefNetwork，LSDBN)图像分类方法。
技术介绍
现有的图像分类主要是采用基于生成模型或者判别模型的方法，这些浅层结构模型存在一定的局限性，在样本有限的情况下复杂函数的表达能力有限，泛化能力受到一定的制约，致使模型分类效果下降；图像数据特征存在大量噪声和冗余信息，需要进行预处理，从而消耗大量时间和资源。因此优异的特征提取算法和分类模型是图像处理的一个重要研究方向。近年来，深度学习迅速发展，Hinton等人于2006年提出了深度置信网络(DeepBeliefNetworks，DBN)以及无监督贪婪逐层训练算法，解决了深度神经网络易陷入局部最优的问题，引发了深度学习在学术界的新浪潮。DBN通过多层次的特征变换得到对于原始数据的抽象表示，从而提高分类和预测等任务的准确性，因DBN具有自动学习特征和数据降维的优势，已经成为深度学习应用最广泛的网络结构，目前，DBN在语音识别、图像分类、人脸识别等相关领域都取得了突破性的进展。DBN所构建的图像分类算法可以集成学习各层次的特征表示，保留图像特征的空间信息，同时利用了DBN自动学习分类特征的优势，避免了传统提取特征算法较差的普适性。尽管DBN模型已经取得了令人鼓舞的成就，但是在训练过程中存在特征同质化现象，即存在大量的共有特征，导致隐含层单元的后验概率偏高，不能很好地学习到数据有用的特征表示，当隐含层单元数量过少时尤为突出。目前解决特征同质化现象的方法就是调节隐含层节点的稀疏性，降低连接权值列之间的相似度，即通过在网络中加入稀疏惩罚因子进行稀疏化。根据研究人类的视觉系统对于针对性的事物，只有少数神经元被激活。受到该研究的启发，研究者为了模拟视觉系统的稀疏表示(SparseRepresentation)提出了稀疏编码理论。稀疏表示在计算机视觉方向上被认为不受局部变形的影响，而且在学习稀疏表示的过程中，总是关注事物最重要的特征，因此可以丢弃冗余特征，降低过度拟合以及噪音污染的影响。所以，将稀疏性引入到受限玻尔兹曼机(RestrictedBoltzmannMachine，RBM)的训练过程来避免特征同质化现象，便是一个有意义的想法。目前学者们已经提出多种稀疏RBM模型来解决该问题，有学者试图将隐含层单元激活概率的L0正则化引入到RBM的似然函数中，但是求解L0正则化是一个NP难问题；考虑到L1正则化是凸二次优化问题，有学者通过将隐单元激活概率的L1正则化引入RBM的似然函数，提出新颖的稀疏深层信念网络，Hinton利用交叉熵的概念提出了交叉熵稀疏惩罚因子，使得隐单元具备整体稀疏性；Lee等提出了基于误差平方和的稀疏RBM(SP-RBM)；有学者提出基于率失真理论的稀疏RBM(SR-RBM)，但是没有正确的方法得到SR-RBM失真度量。总之，对于DBN而言，利用RBM的变体就可以通过指定“稀疏目标”来达到二进制隐含单元的稀疏行为。但是这种方法需要事先设定“稀疏目标”，隐含层节点在某种状态下都具有相同的稀疏程度。
技术实现思路
为了解决现有技术存在的问题，本专利技术提出一种基于Laplace函数约束的稀疏深度置信网络图像分类方法。本专利技术的技术方案：一种基于Laplace函数约束的稀疏深度置信网络图像分类方法，包括如下步骤：步骤1、选取训练图像数据集，并进行图像预处理，得到训练数据集；步骤2、将步骤1预处理后的训练数据集输入到LSDBN网络模型中，利用对比散度算法(ContrastiveDivergence，CD-k)无监督地自底向上单独训练每一层基于拉普拉斯函数约束的稀疏受限玻尔兹曼机(LaplaceSparseRestrictedBoltzmannMachine，LS-RBM)网络，使用下层LS-RBM网络的输出作为其邻近上一层LS-RBM网络的输入，通过迭代训练，得到每个LS-RBM网络的参数值，并最终获得所输入图像数据的高层次特征；所述的参数值即权值和偏置；步骤3、将步骤2得到的参数值作为微调阶段的初始值，采用自顶向下的反向传播算法微调整个LSDBN网络，得到LSDBN网络模型；步骤4、将测试图像数据集输入到步骤3得到的LSDBN网络模型中，并采用Softmax分类器进行识别测试，最后输出图像分类结果。所述步骤1具体为：通过二值化方法将彩色图像转变为灰度级图像，并把灰度级图像的灰度值归一化到[0,1]之间，得到训练数据集；其中归一化公式为：其中，为图像数据集的特征值，xmax和xmin分别为图像数据集所有特征的最大值和最小值，x是经过归一化后的图像数据集。所述步骤2具体为：步骤2.1，构建LSDBN网络模型，设置LSDBN网络模型结构的参数值：可视层节点、隐层节点、隐含层层数、迭代次数和微调次数；其中，可视层节点为输入的图像集的特征维数，隐层节点根据输入图像集的特征维数大小确定；步骤2.2，将预处理完的训练数据集x作为第一个LS-RBM的输入，采用CD算法对LS-RBM进行训练；(1)可视层和隐藏层之间的关系用能量函数表示为：其中，θ表示模型中的参数，即θ＝{Wij,ai,bj}；Wij是可见层和隐藏层之间的权重矩阵，ai为可见层节点的偏置，bj为隐藏层节点的偏置，i为输入的图像的特征数量，即可视层节点，共有n个；j为隐含层节点，共有m个；vi表示第i个可视层节点，hj表示第j个隐含层节点；(2)基于能量函数公式(2)，得到RBM中v和h的联合概率分布为：其中，Z(θ)是对所有可能的可见层节点和隐含层节点对求和，ai为可见层节点的偏置，bj为隐藏层节点的偏置；利用贝叶斯公式的原理，根据公式(3)的联合概率分布分别求出可视层单元v和隐含层h的边缘概率分布：利用贝叶斯公式原理以及sigmoid激活函数的定义公式，推导出可视层单元v和隐含层h的条件概率分布公式：其中，σ(·)为sigmoid激活函数，即神经元的非线性映射函数；利用公式(7)和公式(8)，使用对比散度算法经过一步吉布斯采样得到训练图像的近似重构P(v；θ)；(3)利用极大似然法求解P(v；θ)，得到θ的最优值；LS-RBM的似然函数为：参数的最优值为：添加稀疏惩罚项后，LS-RBM预训练优化的目标函数为：F＝Funsup+λFsparse(11)其中，λ为稀疏性参数，用来调节Fsparse的相对重要性，Fsparse表示稀疏正则化函数，公式为：其中，L(qj,μ,b)为拉普拉斯概率密度函数，qj表示所给数据第j个隐含层单元的条件期望的平均值，p是一个常数，控制n个隐单元hj的稀疏度；u表示尺度参数；qj表达式如下：其中,E(·)是给定数据时第j个隐含层单元的条件期望，l表示训练图像的张数，m是训练图像数据集的数量，为第l张图片对应的隐含层的第j个单元，v(l)为第l张图片对应的可视层单元，是给出可见层v时，隐藏层单元hj的激活概率，g是sigmoid函数；增加稀疏惩罚项后，训练LS-RBM的目的为求解公式(10)的目标函数最优值：其中，P(v(l))为LS-RBM所要优化的似然函数，即可视层v的分布P本文档来自技高网...

【技术保护点】
1.一种基于Laplace函数约束的稀疏深度置信网络图像分类方法，其特征在于，包括如下步骤：步骤1、选取训练图像数据集，并进行图像预处理，得到训练数据集；步骤2、将步骤1预处理后的训练数据集输入到LSDBN网络模型中，利用对比散度算法无监督地自底向上单独训练每一层的LS‑RBM网络，使用下层LS‑RBM网络的输出作为其邻近上一层LS‑RBM网络的输入，通过迭代训练，得到每个LS‑RBM网络的参数值，并最终获得所输入图像数据的高层次特征；所述的参数值即权值和偏置；步骤3、将步骤2得到的参数值作为微调阶段的初始值，采用自顶向下的反向传播算法微调整个LSDBN网络，得到LSDBN网络模型；步骤4、将测试图像数据集输入到步骤3得到的LSDBN网络模型中，并采用Softmax分类器进行识别测试，最后输出图像分类结果。

【技术特征摘要】
1.一种基于Laplace函数约束的稀疏深度置信网络图像分类方法，其特征在于，包括如下步骤：步骤1、选取训练图像数据集，并进行图像预处理，得到训练数据集；步骤2、将步骤1预处理后的训练数据集输入到LSDBN网络模型中，利用对比散度算法无监督地自底向上单独训练每一层的LS-RBM网络，使用下层LS-RBM网络的输出作为其邻近上一层LS-RBM网络的输入，通过迭代训练，得到每个LS-RBM网络的参数值，并最终获得所输入图像数据的高层次特征；所述的参数值即权值和偏置；步骤3、将步骤2得到的参数值作为微调阶段的初始值，采用自顶向下的反向传播算法微调整个LSDBN网络，得到LSDBN网络模型；步骤4、将测试图像数据集输入到步骤3得到的LSDBN网络模型中，并采用Softmax分类器进行识别测试，最后输出图像分类结果。2.根据权利要求1所述的方法，其特征在于，所述步骤1具体为：通过二值化方法将彩色图像转变为灰度级图像，并把灰度级图像的灰度值归一化到[0,1]之间，得到训练数据集；其中归一化公式为：其中，为图像数据集的特征值，xmax和xmin分别为图像数据集所有特征的最大值和最小值，x是经过归一化后的图像数据集。3.根据权利要求1或2所述的方法，其特征在于，所述步骤2具体为：步骤2.1，构建LSDBN网络模型，设置LSDBN网络模型结构的参数值：可视层节点、隐层节点、隐含层层数、迭代次数和微调次数；其中，可视层节点为输入的图像集的特征维数，隐层节点根据输入图像集的特征维数大小确定；步骤2.2，将预处理完的训练数据集x作为第一个LS-RBM的输入，采用CD算法对LS-RBM进行训练；(1)可视层和隐藏层之间的关系用能量函数表示为：其中，θ表示模型中的参数，即θ＝{Wij,ai,bj}；Wij是可见层和隐藏层之间的权重矩阵，ai为可见层节点的偏置，bj为隐藏层节点的偏置，i为输入的图像的特征数量，即可视层节点，共有n个；j为隐含层节点，共有m个；vi表示第i个可视层节点，hj表示第j个隐含层节点；(2)基于能量函数公式(2)，得到RBM中v和h的联合概率分布为：其中，Z(θ)是对所有可能的可见层节点和隐含层节点对求和，ai为可见层节点的偏置，bj为隐藏层节点的偏置；利用贝叶斯公式的原理，根据公式(3)的联合概率分布分别求出可视层单元v和隐含层h的边缘概率分布：利用贝叶斯公式原理以及sigmoid激活函数的定义公式，推导出可视层单元v和隐含层h的条件概率分布公式：其中，σ(·)为sigmoid激活函数，即神经元的非线性映射函数；利用公式(7)和公式(8)，使用对比散度算法经过一步吉布斯采样得到训练图像的近似重构P(v；θ)；(3)利用极大似然法求解P(v；θ)，得到θ的最优值；LS-RBM的似然函数为：参数的最优值为：添加稀疏惩罚项后，LS-RBM预训练优化的目标函数为：F＝Funsup+λFsparse(11)其中，λ为稀疏性参数，用来调节Fsparse的相对重要性，Fsparse表示稀疏正则化函数，公式为：其中，L(qj,μ,b)为拉普拉斯概率密度函数，qj表示所给数据第j个隐含层单元的条件期望的平均值，p是一个常数，控制n个隐单元hj的稀疏度；u表示尺度参数；qj表达式如下：其中,E(·)是给定数据时第j个隐含层单元的条件期望，l表示训练图像的张数，m是训练图像数据集的数量，为第l张图片对应的隐含层的第j个单元，v(l)为第l张图片对应的可视层单元，是给出可见层v时，隐藏层单元hj的激活概率，g是sigmoid函数；增加稀疏正则化项后，训练LS-RBM的目的为求解公式(10)的目标函数最优值：其中，P(v(l))为LS-RBM所要优化的似然函数，即可视层v的分布P(v；θ)；(4)使用梯度下降法对LS-RBM的目标函数求导来更新权重矩阵和隐含层的偏置，求导公式为：将将求导后的参数值带入到参数θ的更新式中，得到新的参数值：a(1):＝ma+α(v1-v2)(26)(5)用新的参数值继续训练网络，通过不断优化目标函数，使隐含层单元的激活概率逐渐接近给定的固定值p，学习到一组权重参数以及相应的偏置，通过这些合适的参数寻找到稀疏特征向量，控制图像中存在的冗余特征，用图像中主要的特征来组合学习权重以重构输入数据，完成...

【专利技术属性】
技术研发人员：宋威，李蓓蓓，王晨妮，
申请(专利权)人：江南大学，
类型：发明
国别省市：江苏,32