一种非平行结构支持向量机的构造方法技术

本发明专利技术公开了一种非平行结构支持向量机的构造方法，在传统的平行支持向量机(平行SVM)的基础上通过添加样本的最小二乘项，给原始优化问题增加了附加的经验风险最小化项和添加偏置约束项，分别获取到两个非平行超平面，形成新的额外经验风险最小化非平行支持向量机。包括如下步骤：数据预处理，求解正类超平面的拉格朗日乘子，求解负类超平面的拉格朗日乘子，求解正负分类超平面的参数，新数据点类别判定。本发明专利技术采用上述一种非平行结构支持向量机的构造方法，提出新的非平行向量机算法，在算法本身的基础上进一步提高高光谱图像的分类精度，以获得更好的分类性能。以获得更好的分类性能。以获得更好的分类性能。

【技术实现步骤摘要】
一种非平行结构支持向量机的构造方法


[0001]本专利技术涉及机器学习
，尤其是涉及一种非平行结构支持向量机的构造方法。

技术介绍

[0002]支持向量机(Support Vector Machine，SVM)由Vapnik等人提出，适用于模式识别等领域。SVM的特点是可以兼顾经验风险和结构风险，即通过寻找一个既能保证分类精度，又能使两类数据之间间隔最大化的超平面来实现监督学习。SVM具有一些良好的特性，比如核技巧、稀疏性和全局解等等，因其坚实的理论基础和良好的推广性使得其在遥感图像分类上被广泛应用。支持向量机分类模型前提假定正负类别边界是呈现平行状态的，然而对于实际遥感数据而言，这种假定很难成立，影响了模型的泛化能力。针对这一问题，Jayadeva等人提出双子支持向量机(Twin Support Vector Machine，TWSVM)。TWSVM的目标是寻找一对非平行(平行可视为非平行的一种特殊状态)的超平面。每类的数据点都接近于两个非平行超平面中的一个，并且远离另一个，通过比较样本到两个超平面的距离大小来决定其所属的类别。TWSVM尤其成功的一面，但仍然存在明显的不足：TWSVM模型只考虑了经验风险而没有考虑结构风险，其泛化性能受到影响，以至在很多情况下其分类效果不如传统支持向量机。所以TWSVM直接用于高光谱图像分类效果较差，部分学者结合其他算法在高光谱数据上有所使用。本文旨在提出新的非平行向量机算法，在算法本身的基础上进一步提高高光谱图像的分类精度。
[0003]针对以上情况，本文在传统平行支持向量机的基础上通过添加样本的最小二乘项及经验风险最小化附加项构建一种非平行支持向量机模型，即Additional Empirical Risk Minimization Nonparallel Support Vector Machine,AERM
‑
NSVM，以下称其为本专利方法。

技术实现思路

[0004]本专利技术的目的是提供一种非平行结构支持向量机的构造方法，提出新的非平行向量机算法，在算法本身的基础上进一步提高高光谱图像的分类精度，以获得更好的分类性能。
[0005]为实现上述目的，本专利技术提供了一种非平行结构支持向量机的构造方法，包括以下步骤：
[0006]S1、数据预处理；
[0007]S2、求解正类超平面的拉格朗日乘子；
[0008]S3、求解负类超平面的拉格朗日乘子；
[0009]S4、求解正负分类超平面的参数；
[0010]S5、新数据点类别判定。
[0011]优选的，所述步骤S1中的数据预处理具体包括以下步骤：
[0012](1)读取二分类m个n维的训练数据集，并做标准化处理，得到m
×
n的训练数据样本矩阵C，读取标签信息为向量y；
[0013](2)按照标签信息正负将训练样本区分开，得到m
+
×
n的矩阵A和m
‑
×
n的矩阵B；
[0014](3)将标签项y转换为对角矩阵Y。
[0015]优选的，所述步骤S2中求解正类超平面的拉格朗日乘子具体包括以下步骤：
[0016](1)构建m
+
维度单位向量I
+
，由公式(1)得到矩阵P
+
；
[0017][0018](2)构建m维度全1向量e，由公式(2)得到矩阵Q
+
；
[0019]Q
+
＝
‑
e
T
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)；
[0020](3)构建m维度单位矩阵I，由公式(3)得到矩阵H
+
；
[0021][0022](4)由公式(4)得到矩阵J
+
；
[0023]J
+
＝[C3×
e
T
]ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)；
[0024](5)构建m
+
维度全1向量e
+
，由公式(5)得到矩阵K
+
；
[0025][0026](6)由公式(6)，得到拉格朗日乘子向量α＝(α1,...,α
m
)和
[0027][0028]或由公式(23)，得到拉格朗日乘子向量α＝(α1,...,α
m
)和
[0029][0030]优选的，所述步骤S2中求解正类超平面的拉格朗日乘子具体包括以下步骤：
[0031](1)构建m
+
维度单位向量I
+
，由公式(1)得到矩阵P
+
；
[0032][0033](2)由公式(19)得到矩阵Q
+
；
[0034][0035](3)构建m维度单位矩阵I，由公式(3)得到矩阵H
+
；
[0036][0037](4)构建m维度全1向量e，由公式(4)得到矩阵J
+
；
[0038][0039](5)构建m
+
维度全1向量e
+
，由公式(5)得到矩阵K
+
；
[0040][0041](6)由公式(6)，得到拉格朗日乘子向量α＝(α1,...,α
m
)和
[0042][0043]或由公式(23)，得到拉格朗日乘子向量α＝(α1,...,α
m
)和
[0044][0045]s.t.0≤[λ
T
α
T
]≤J
+
,i＝1,...,n
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(23)。
[0046]优选的，所述步骤S3中求解负类超平面的拉格朗日乘子具体包括以下步骤：
[0047](1)构建m
‑
维度单位矩阵I
‑
，由公式(7)得到矩阵P
‑
；
[0048][0049](2)构建m维度全1向量e，由公式(8)得到矩阵Q
‑
；
[0050]Q
_
＝
‑
e
T
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)；
[0051](3)由公式(9)得到矩阵H
_
；
[0052][0053](4)由公式(10)得到矩阵J
_
；
[0054]J
_
＝[C4×
e
T
]ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(10)；
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种非平行结构支持向量机的构造方法，其特征在于，包括以下步骤：S1、数据预处理；S2、求解正类超平面的拉格朗日乘子；S3、求解负类超平面的拉格朗日乘子；S4、求解正负分类超平面的参数；S5、新数据点类别判定。2.根据权利要求1所述的一种非平行结构支持向量机的构造方法，其特征在于，所述步骤S1中的数据预处理具体包括以下步骤：(1)读取二分类m个n维的训练数据集，并做标准化处理，得到m
×
n的训练数据样本矩阵C，读取标签信息为向量y；(2)按照标签信息正负将训练样本区分开，得到m
+
×
n的矩阵A和m
‑
×
n的矩阵B；(3)将标签项y转换为对角矩阵Y。3.根据权利要求1所述的一种非平行结构支持向量机的构造方法，其特征在于，所述步骤S2中求解正类超平面的拉格朗日乘子具体包括以下步骤：(1)构建m
+
维度单位向量I
+
，由公式(1)得到矩阵P
+
；(2)构建m维度全1向量e，由公式(2)得到矩阵Q
+
；Q
+
＝
‑
e
T
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)；(3)构建m维度单位矩阵I，由公式(3)得到矩阵H
+
；(4)由公式(4)得到矩阵J
+
；J
+
＝[C3×
e
T
]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)；(5)构建m
+
维度全1向量e
+
，由公式(5)得到矩阵K
+
；(6)由公式(6)，得到拉格朗日乘子向量α＝(α1,...,α
m
)和)和或由公式(23)，得到拉格朗日乘子向量α＝(α1,...,α
m
)和
4.根据权利要求1所述的一种非平行结构支持向量机的构造方法，其特征在于，所述步骤S2中求解正类超平面的拉格朗日乘子具体包括以下步骤：(1)构建m
+
维度单位向量I
+
，由公式(1)得到矩阵P
+
；(2)由公式(19)得到矩阵Q
+
；(3)构建m维度单位矩阵I，由公式(3)得到矩阵H
+
；(4)构建m维度全1向量e，由公式(4)得到矩阵J
+
；J
+
＝[C3×
e
T
]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)；(5)构建m
+
维度全1向量e
+
，由公式(5)得到矩阵K
+
；(6)由公式(6)，得到拉格朗日乘子向量α＝(α1,...,α
m
)和)和或由公式(23)，得到拉格朗日乘子向量α＝(α1,...,α
m
)和)和5.根据权利要求1所述的一种非平行结构支持向量机的构造方法，其特征在于，所述步骤S3中求解负类超平面的拉格朗日乘子具体包括以下步骤：(1)构建m
‑
维度单位矩阵I
‑
，由公式(7)得到矩阵P
‑
；
(2)构建m维度全1向量e，由公式(8)得到矩阵Q
‑
；Q
_
＝
‑
e
T
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)；(3)由公式(9)得到矩阵H
_
；(4)由公式(10)得到矩阵J
_
；(5)构建m
‑
维度全1向量e
‑
，由公式(11)得到矩阵K
_
；(6)由公式(12)得到拉格朗日乘子向量θ＝(θ1,...,θ
m
)和)和)和0≤[θ
T
γ
T
]≤J
‑
,i＝1,...,n
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(12)；或由公式(24)得到拉格朗日乘子...

【专利技术属性】
技术研发人员：王立国，刘广鑫，肖瑛，刘丹凤，刘海涛，
申请(专利权)人：大连民族大学，
类型：发明
国别省市：