一种基于变步长ADMM算法极限学习机的图像分类方法技术

本发明专利技术公开了一种基于变步长ADMM算法极限学习机的图像分类方法，提出了变步长交替方向乘子法(Variable Step Alternating Direction Method of Multipliers，Var

【技术实现步骤摘要】
一种基于变步长ADMM算法极限学习机的图像分类方法


[0001]本专利技术属于计算机视觉的图像分类
，涉及图像分类优化方法，具体涉及一种基于变步长ADMM算法极限学习机的图像分类方法。

技术介绍

[0002]图像识别与分类是计算机视觉研究领域的重点以及热点问题，图像识别与分类在各个行业领域当中都有着广泛的应用，例如在医疗领域辅助进行疾病诊断，包括但不限于肿瘤检测、病变分析；在交通领域用于车牌识别、交通标志识别，以及安防领域进行人脸识别和行为分析等，总的来说，图像识别与分类技术的发展为许多领域带来了巨大的变革和机遇。随着算法和模型的不断进步，图像识别与分类将在更多领域发挥重要作用，为人们的生活带来更多的便利和创新。
[0003]图像识别与分类技术的核心是深度学习和神经网络。通过构建深度神经网络模型，利用大量的标注数据进行训练，可以使计算机具备从图像中提取特征、学习模式并做出准确预测的能力。常用的图像识别与分类算法包括卷积神经网络(CNN)、循环神经网络(RNN)等，但是，神经网络的训练过程使用误差反向传播算法，利用梯度下降的原理将模型的输出与实际标注之间的误差通过多轮迭代的学习不断缩小，从而完成模型的训练。而随着神经网络模型的网络层数的不断增加，需要调整的参数也呈现指数型增长的趋势，导致模型的参数训练不仅费时费力，而且也为研究者的模型验证调试过程带来了巨大困难，因为一旦对模型的设计做出改动，哪怕是极其微小的变化，也要通过长时间的训练才能看到最终的效果，无法做到立竿见影。为此，有部分学者考虑在深度学习的模型结构和训练方式层面做出改进，以解决当前所面临环境的困窘。
[0004]极限学习机(Extreme Learning Machine，ELM)就是其中一种解决方案，极限学习机是一种单隐藏层的前馈神经网络算法，由于其结构简单、训练时随机生成隐含层节点的权重和偏差以及通过求解线性方程组的最小二范数解来确定输出权重的特点，ELM算法相较于许多传统的机器学习算法不仅可以获得成百上千倍的训练速度提升，而且可以在保证较高的学习准确率的基础上获得良好的泛化性能，被越来越多的应用于图像识别与分类领域。
[0005]然而，由于ELM具有隐藏层的参数随机生成的特点，导致训练出的网络模型的精度具有很大的不稳定性。同时由于模型的训练过程基于最小经验风险准则，也即ELM模型的训练过程以最小化训练误差为目标，而当训练误差很小时模型容易产生过拟合现象，因为模型过度学习了训练集的数据特征而忽视了训练样本和测试样本之间的差异性，导致模型在测试集上精度不够理想，泛化性能下降，从而无法完成对图片的准确分类和识别，为此，需要考虑使用正则化的方法对模型的过拟合进行抑制。
[0006]极限学习机的正则化问题求解方法之一便是交替方向乘子法(Alternating Direction Method of Multipliers，ADMM)，ADMM是一种分布式求解线性等式优化问题的框架，能够将等式约束的优化问题拆分成多个子问题进行交替求解，但是该方法存在迭代
收敛速度缓慢以及迭代后期误差衰减停滞的问题。

技术实现思路

[0007]有鉴于此，本专利技术提供了一种基于变步长ADMM算法极限学习机的图像分类方法，在现有基于极限学习机的图像分类方法的基础上实现了效率更高、准确度更高的图像分类。
[0008]本专利技术提供的一种基于变步长ADMM算法极限学习机的图像分类方法，包括以下步骤：
[0009]步骤1、采集图像数据建立图像数据集，并为图像数据集中的图像数据建立标记形成训练样本集；
[0010]步骤2、构建基于变步长ADMM算法的极限学习机模型，所述极限学习机模型的输入为待分类图像，输出为待分类图像的分类；所述极限学习机模型如下所示：
[0011][0012]其中，其中，β＝[β1,β2,
···
,β
L
]T
为输出权重矩阵，T＝[t1,t2,
···
,t
N
]T
为输入矩阵，H为隐含层输出矩阵，表示矩阵的F范数的平方，||
·
||1为矩阵的1范数，λ＞0和μ＞0分别为L1和L2正则化系数；
[0013]步骤3、设定所述极限学习机模型的超参数，即：隐含层节点个数L、L1正则化系数λ、L2正则化系数μ、迭代步长初始值ρ0及最大迭代次数k
max
；随机生成隐含层神经元的输入权重系数矩阵w和偏置系数b，随机生成3个迭代过程变量的初始值y0、z0、u0，计算隐含层输出矩阵H＝g(wx+b)，w为隐含层神经元与输入层神经元的输入权重矩阵，b为隐含层偏置系数向量，g(
·
)为激活函数；
[0014]步骤4、将训练样本集中的样本图像输入初始的所述极限学习机模型，采用引入的迭代过程变量y和z替代权重系数矩阵β得到目标函数：
[0015][0016]s.t.y
‑
z＝0
[0017]计算y
k+1
＝(H
T
H+(μ+ρ)I)
‑1(H
T
T+ρ(z
k
‑
u
k
))，其中I为单位矩阵，z
k+1
＝S
λ/ρ
(y
k+1
+u
k
)及u
k+1
＝u
k
+y
k+1
‑
z
k+1
，得到输出权重矩阵β；改变当前迭代步长ρ，令迭代次数自加1；再计算当前迭代误差，当迭代误差满足条件或迭代次数大于k
max
时完成极限学习机模型的训练执行步骤5，否则执行步骤4；
[0018]步骤5、将待分类图像输入训练得到的极限学习机模型中，极限学习机模型输出待分类图像的类别，完成图像的分类。
[0019]进一步地，所述步骤4中改变当前迭代步长ρ的方式为：其中α为步长衰减率。
[0020]进一步地，所述g(
·
)为sigmoid函数
[0021]有益效果：
[0022]本专利技术在标准ADMM算法的基础上进行改进，提出了变步长交替方向乘子法(Variable Step Alternating Direction Method of Multipliers，Var
‑
ADMM)，通过动态调整求解过程的迭代步长，在弥补ADMM算法收敛缓慢的缺陷的同时有效地提高了运算精度；通过将变步长ADMM算法与ELM相结合，在求解输出权重矩阵的过程中使用正则化的方法限制权重系数的大小，避免因权重系数过大导致模型对包含噪声的输入过于敏感导致识别准确率下降，从而有效抑制了ELM出现过拟合，提升了ELM对图像的分类准确率。
附图说明
[0023]图1为极限学习机的网络结构示意图。
[0024]图2为本专利技术提供的一种基于变步长ADMM算法极限学本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于变步长ADMM算法极限学习机的图像分类方法，其特征在于，包括以下步骤：步骤1、采集图像数据建立图像数据集，并为图像数据集中的图像数据建立标记形成训练样本集；步骤2、构建基于变步长ADMM算法的极限学习机模型，所述极限学习机模型的输入为待分类图像，输出为待分类图像的分类；所述极限学习机模型如下所示：min:其中，其中，β＝[β1,β2,
···
,β
L
]
T
为输出权重矩阵，T＝[t1,t2,
···
,t
N
]
T
为输入矩阵，H为隐含层输出矩阵，表示矩阵的F范数的平方，||
·
||1为矩阵的1范数，λ＞0和μ＞0分别为L1和L2正则化系数；步骤3、设定所述极限学习机模型的超参数，即：隐含层节点个数L、L1正则化系数λ、L2正则化系数μ、迭代步长初始值ρ0及最大迭代次数k
max
；随机生成隐含层神经元的输入权重系数矩阵w和偏置系数b，随机生成3个迭代过程变量的初始值y0、z0、u0，计算隐含层输出矩阵H＝g(wx+b)，w为隐含层神经元与输入层神经元的输入权重矩阵，b为隐含层偏置系数向量，g(
·
)为激活函数；步骤4、将训练样本集中的样本图像输入初始的所述极限学习机模型...

【专利技术属性】
技术研发人员：邹伟东，卢辉煌，夏元清，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：