一种基于自编码器与决策树的图像分类方法与系统技术方案

一种基于自编码器与决策树的图像分类方法与系统，该方法包括：采集图像样本数据，转换图像样本为像素信息矩阵/向量；利用自编码器网络模型，学习图像样本的表征信息，使用编码器压缩并提取图像样本的低维特征信息；在迭代求解自编码器网络最优权重参数的过程中更新每个样本对应的最近邻数值；基于训练好的自编码器网络模型中提取的低维样本特征信息，结合迭代获取的样本最近邻数值作为对应的样本标签构建决策树模型；利用自编码器获得新样本的低维特征信息并输入决策树获得最近邻数值，在训练集中寻找最近邻领域，将最近邻领域中数量最多的类别作为预测结果。本发明专利技术可以得到目标的低维特征信息，并预测样本的类别，预测结果具有可解释性。具有可解释性。具有可解释性。

【技术实现步骤摘要】
一种基于自编码器与决策树的图像分类方法与系统


[0001]本专利技术涉及一种基于自编码器与决策树的图像分类方法与系统，属机器学习和深度学习


技术介绍

[0002]研究获取的大量图像样本没有标签信息需要进行人工标记，但是对大量的数据进行人工标记费时费力，所以传统机器学习方法和深度学习方法的目标是通过有标签信息的样本数据集对无标签样本分类或识别。其中，分类任务作为传统机器学习方法的基础任务，需要利用训练集的样本标签信息来对未知标签信息的样本进行分类。而图像分类任务作为现今研究的一大热门领域，衍生了许多对应的传统机器学习的经典方法及其改进算法。
[0003]目前的机器学习经典算法有决策树、贝叶斯分类器、支持向量机和K
‑
近邻分类器等，在处理小型结构化数据这些方法的分类效果好。当面临复杂数据的输入时，例如高维数据，大部分机器学习算法就会面临维度灾难，降低算法分类效果。在大样本数据集下，深度学习网络能大大提高算法的速度，以及分类的精度。
[0004]传统机器学习算法与深度学习算法的区别是，深度学习网络不需要给定本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自编码器与决策树的图像分类方法，其特征在于，所述方法包括以下步骤：(1)采集数据，获取原始RGB图像数据，转换图像样本为像素信息矩阵/向量；(2)将收集的图像数据输入自编码器，使用前馈神经网络，通过编码器和解码器对图像样本进行自编码器的表征学习，并利用编码器部分提取图像样本的低维结构特征信息；根据样本图像数据构建网络，对网络的损失函数添加稀疏性约束和相关性约束，并采用迭代的方式对自编码网络的权重参数进行更新；(3)在求解网络最优权重参数的迭代过程中，基于编码器获得的低维样本向量计算图像样本之间的距离，在最近邻距离的约束更新每个图像样本对应的最近邻数值；(4)基于训练好的自编码器网络模型中的编码器，提取样本的低维特征信息，结合迭代获取的样本最近邻数值作为对应的样本标签，使用CART方法构建以最近邻数值为叶子节点的决策树，同时调整自编码器网络的参数；(5)利用自编码器获得新样本的低维特征信息并输入决策树获得最近邻数值，通过KNN搜索训练样本的最近邻领域，将最近邻领域中数量最多的类别作为预测结果。2.根据权利要求1所述的一种基于自编码器与决策树的图像分类方法，其特征在于，所述自编码器的表征学习步骤包括：根据样本图像数据构建网络，对网络的损失函数添加稀疏性约束和相关性约束，自编码网络在无约束下的损失函数为：X＝(x1,x2,...,x
n
))其中，X为输入样本向量；x
i
为输入样本向量X的第i个特征；n是输入向量的维度，在大小为28像素
×
28像素的图像样本中，对应的输入样本向量的维度n＝784；为输出的重构样本向量；为重构样本向量的第i个特征；J
ave
(W,b)为自编码器网络的无约束损失函数，用来度量重构样本和原始样本X之间的平均差异；W，b分别是自编码器网络的权重和偏置；对自编码器网络的隐藏层输出加上稀疏约束后的自编码网络的损失函数为：对自编码器网络的隐藏层输出加上稀疏约束后的自编码网络的损失函数为：对自编码器网络的隐藏层输出加上稀疏约束后的自编码网络的损失函数为：其中，是自编码器网络中隐藏层神经元的平均激活度；n是输入向量的维度；x
j
为输入样本向量的第j个特征；a
i
(x
j
)是第i个神经元在输入x
j
下的激活值；是相对熵，作为度量两个分布的差异的惩罚因子；h是隐藏层的神经元数目；ρ是稀疏性参数；γ是KL散度约束参数；J
sparse
(W,b)是自编码器网络的稀疏损失函数；为隐藏层神经元的平均激活度；
对稀疏自编码神经网络再加上相似性约束后的自编码器网络损失函数：其中，J
re
(W,b)是加入了稀疏性约束和相似性约束的自编码器网络损失函数，μ是相似性参数，n是输入向量的维度，为重构样本向量的第i个特征，作为一种限制来尽可能的增加样本间的差异；所述采用迭代的方式对自编码网络的权重参数更新，自编码神经网络的迭代使用拟牛顿法L
‑
BFGS，迭代的最大数值设置为300。3.根据权利要求1所述的一种基于自编码器与决策树的图像分类方法，其特征在于，所述计算图像样本之间的距离，包括：(1)自编码器网络的在每一步迭代时更新样本的最近邻数值，在训练前预设样本之间的距离参数，以及最大最小最近邻数值限制；在该限制下样本的最小最近邻数值为1，最大最近邻数值为10，即样本的最近邻数值若为0，则修正为1，若样本的最近邻数值大于10，则修正为10；在迭代计算过程中，由更新的权重W和偏置项b，可以得到提低维特征后的新样本向量；样本经过两个隐藏层的自编码神经网络后的压缩特征向量的距离计算如下：X
i
′
＝h1(X
i
)＝σ1(W1X
i
+b1)X
i
″
＝h2(X
i
′
)＝σ2(W2X
i
′
+b2)其中，W1和W2分别为编码器网络中第一个隐藏层h1和第二个隐藏层h2的权重；b1和b2则是对应的偏置项；σ1和σ2为网络隐藏层h1和h2层对应的输出函数；X
i
′
表示为第i个输入样本X
i
经过隐藏层h1后的向量；X
i
″
表示为X
i
′
经过隐藏层h2后的向量；D(X
i
″
,X
j
″
)是提取的低维样本向量X
i
″
与X
j
″
之间的欧几里德距离；m是低维特征向量X
″
的维度；x
i
′
s
′
为样本向量X
i
″
的第s个特征；x
′
j
′
s
为样本向量X
j
″
的第s个特征；样本间的距离参数α决定了其...

【专利技术属性】
技术研发人员：黄祎婧，王辉，黄宇廷，韩星宇，曹学儒，范自柱，
申请(专利权)人：华东交通大学，
类型：发明
国别省市：