一种基于粗糙支持矢量机的模式分类识别方法。设｛（ｘ↓［ｉ］，ｙ↓［ｉ］），ｉ＝１，２，…，ｌ｝为包含ｌ个样本的训练集，其中第ｉ个样本ｘ↓［ｉ］∈Ｒ↑［ｄ］为ｄ维的特征矢量，ｙ↓［ｉ］∈｛＋１，－１｝为ｘ↓［ｉ］的类别；支持矢量机寻找两类间的最优分界面使分类间隔最大；对于训练样本为线性不可分的情况，支持矢量机通过非线性映射φ将输入特征空间映射到更高维的特征空间Ｚ，使两类样本在此高维特征空间中线性可分，以寻找两类间的最优分界面；在高维特征空间中，位于分界面上的样本点φ（ｘ）满足ｗ·φ（ｘ）＋ｂ＝０，其中ｗ∈Ｚ，ｂ∈Ｒ，ｗ和ｂ分别为加权矢量和偏移量，两者定义了高维特征空间中的分界面；某样本ｘ↓［ｉ］通过决策函数ｓｇｎ（ｗ·φ（ｘ↓［ｉ］）＋ｂ）判为两类之一；其特征在于本方法的具体步骤如下： （１）定义粗糙分类间隔：由上粗糙间隔和下粗糙间隔表示，其中上粗糙间隔宽度为２ρ↓［ｌ］／║ｗ║，下粗糙间隔宽度为２ρ↓［ｕ］／║ｗ║，ρ↓［ｕ］＞ρ↓［ｌ］； （２）用粗糙支持矢量机最大化粗糙间隔来确定最优分类面，这一优化问题表示为公式（５）； ＊１／２║ｗ║↑［２］－ｖρ↓［ｌ］－ｖρ↓［ｕ］＋１／ｌ＊ξ↓［ｉ］＋δ／ｌ＊ξ′↓［ｉ］ ｓｕｂｊｅｃｔ ｔｏ ｙ↓［ｉ］（ｗ·φ（ｘ↓［ｉ］）＋ｂ）≥ρ↓［ｕ］－ξ↓［ｉ］－ξ′↓［ｉ］， ０≤ξ↓［ｉ］≤ρ↓［ｕ］－ρ↓［ｌ］，ξ′↓［ｉ］≥０，ρ↓［ｌ］≥０，ρ↓［ｕ］≥０， （５） 其中δ＞１； （３）为求解步骤（２）定义的优化问题，将其转换为由公式（８）表示的对偶问题来求解； ＊１／２＊＊α↓［ｉ］α↓［ｊ］ｙ↓［ｉ］ｙ↓［ｊ］Ｋ（ｘ↓［ｉ］，ｘ↓［ｊ］） ｓｕｂｊｅｃｔ ｔｏ ＊α↓［ｉ］ｙ↓［ｉ］＝０，０≤α↓［ｉ］≤δ／ｌ，＊α↓［ｉ］≥２ｖ， （８） 其中，ｖ的选取范围为０～１，δ的选取范围为２～１０； （４）求解对偶问题（８）获得其最优解（α↓［１］↑［＊］，…，α↓［ｌ］↑［＊］）↑［Ｔ］，并由公式（９）计算ｂ↑［＊］： ｂ↑［＊］＝－１／２＊α↓［ｉ］↑［＊］ｙ↓［ｉ］（Ｋ（ｘ↓［ｉ］，ｘ↓［ｊ］）＋Ｋ（ｘ↓［ｉ］，ｘ↓［ｋ］））， （９） 其中ｊ∈｛ｉ｜α↓［ｉ］↑［＊］∈（０，１／ｌ），ｙ↓［ｉ］＝１｝，ｋ∈｛ｉ｜α↓［ｉ］↑［＊］∈（０，１／ｌ），ｙ↓［ｉ］＝－１｝，或者ｊ∈｛ｉ｜α↓［ｉ］↑［＊］∈（１／ｌ，δ／ｌ），ｙ↓［ｉ］＝１｝，ｋ∈｛ｉ｜α↓［ｉ］↑［＊］∈（１／ｌ，δ／ｌ），ｙ↓［ｉ］＝－１｝， 至此完成粗糙间隔支持矢量机训练； （５）分类识别，未知样本＊的类别由公式（３）计算得到： ＊＝ｓｇｎ（ｗ↑［＊］·φ（＊）＋ｂ↑［＊］）＝ｓｇｎ（＊α↓［ｉ］↑［＊］ｙ↓［ｉ］Ｋ（＊，ｘ↓［ｉ］）＋ｂ↑［＊］）， （３） （α↓［１］↑［＊］，…，α↓［ｌ］↑［＊］）↑［Ｔ］和ｂ↑［＊］已由步骤（４）求得，其中，Ｋ（ｘ↓［ｉ］，ｘ↓［ｊ］）＝φ（ｘ↓［ｉ］）·φ（ｘ↓［ｊ］）。
【技术实现步骤摘要】
本专利技术属于模式分类识别
，具体涉及一种基于支持矢量机(support vectormachine SVM)的模式分类识别方法。
技术介绍
模式识别的目的是将对象进行分类，其应用领域非常广泛，例如，计算机辅助诊断、字符识别、语音识别等等。支持矢量机是一种基于统计学习理论的模式识别的方法。传统的基于统计学习理论的模式识别方法如基于贝叶斯决策理论的分类器是根据经验风险最小来训练分类器。但经验风险只有当样本数无穷大才趋近于期望风险。因此，基于经验风险最小的分类器不能保证有较高的推广能力。如果训练样本数较少，基于经验风险最小的分类器性能可能较差。支持矢量机是基于结构风险最小原则，在特征空间中寻找一个最优分界面，使得该分界面能够尽可能多的将两类数据点正确的分开，同时使分开的两类数据点距离分界面最远，即找到经验风险最小和推广能力最大之间的平衡点。已有的研究结果表明，对较小的训练样本集，支持矢量机是各种分类器中性能最好的。由于传统的支持矢量机所获得的最优分界面仅仅取决于少量的支持矢量，当训练样本中存在噪声或离群数据时，传统的支持矢量机仍可能出现过学习问题。针对该问题，今年来出现了不少支持矢量机的改进方法，如模糊支持矢量机、total margin SVM、scaledSVM等。本专利技术将粗糙集理论引入支持矢量机，以克服有噪声或离群数据时的过学习问题。
技术实现思路
本专利技术的目的是提出一种，以解决传统支持矢量机在存在噪声样本或离群样本下出现的过学习问题。本专利技术提出的基于粗糙支持矢量机的模式识别方法步骤是首先由已知类别样本训练粗糙支持矢量机，即在特征空间中寻找一最优分界面，使得两类之间的粗糙分类间隔最大。然后对待识样本，用该最优分界面判别其所属类别。下面对本
技术实现思路
作进一步介绍相关概念支持矢量机分类器设{(xi，yi)，i＝1，2，...，l}为包含l个样本的训练集，其中第i个样本xi∈Rd为d维的特征矢量，yi∈{+1，-1}为xi的类别；支持矢量机寻找两类间的最优分界面使分类间隔最大；对于训练样本为线性不可分的情况，支持矢量机通过非线性映射φ将输入特征空间映射到更高维的特征空间Z，使两类样本在此高维特征空间中线性可分，以寻找两类间的最优分界面；在高维特征空间中，位于分界面上的样本点φ(x)满足w·φ(x)+b＝0，其中w∈Z，b∈R，w和b分别为加权矢量和偏移量，两者定义了高维特征空间中的分界面；某样本xi通过决策函数sgn(w·φ(xi)+b)判为两类之一(sgn为符号函数)。在传统的v-支持矢量机中，对应于最优分界面的w和b为以下优化问题(原问题)的解minw,b,ξ,ρ12||w||2-vρ+1lΣi=1lξi]]>subject to yi(w·φ(xi)+b)≥ρ-ξi，ξi≥0，i＝1，...，l，ρ≥0，(1)其中w，b，ξ，ρ为优化变量，由w和ρ决定训练所得分类间隔的宽度为 ξi为松弛因子，对应于ξi＞0的训练样本点为被sgn(w·φ(xi)+b)分错的样本点或位于两个超平面w·φ(xi)+b＝ρ和w·φ(xi)+b＝-ρ形成的分类间隔内的点，称为间隔错误样本点。上述原问题可通过引入拉格朗日乘子并根据Karush-Kuhn-Tucker(KKT)条件转换为其对偶问题minα12Σi=1lΣj=1lyiyjαiαjφ(xi)·φ(xj)=minα12Σi=1lΣj=1lyiyjαiαjK(xi,xj)]]>subjecttoΣi=1lyiαi=0,0≤αi≤1l,Σi=1lαi≥v,---(2)]]>其中αi为与限制条件yi(w·φ(xi)+b)≥ρ-ξi相对应的拉格朗日乘子，K(xi，xj)表示核函数，直接给出了高维空间中的点积φ(xi)·φ(xj)。对偶问题的最优解(α1*，...，αl*)T显示了训练样本在在高维空间中的位置对应于αi*=0]]>的样本点在分类间隔之外，满足yi(w·φ(xi)+b)＞ρ；对应于αi*>0]]>的样本点称为支持矢量，其中对应于0<αi*<1/l]]>的样本点恰位于分类间隔边界线上满足yi(w·φ(xi)+b)＝ρ，而对应于ai*=1/l]]>的样本点位于分类间隔内，满足yi(w·φ(xi)+b)＝ρ-ξi，其中ξi＞0. 训练完成后，在分类识别阶段，未知样本 的类别由下式给出y~=sgn(w*·φ(x~)+b*)=sgn(Σi=1lαi*yiK(x~,xi)+b*),---(3)]]>其中b*=-12Σi=1lαi*yi(K(xi,xj)+K(xi,xk)),---(4)]]>其中j∈{i|αi*∈(0,1/l),yi=1},]]>k∈{i|αi*∈(0,1/l),yi=-1}.]]> 支持矢量机使两类间的分类间隔最大，同时使错分样本数最小，通过参数v平衡两个矛盾目标。v是间隔错误样本数占总样本数的比例的上界，是支持矢量数占总样本数的比例的下界。1、粗糙分类间隔粗糙集理论通过上、下近似来描述不确定对象。对于论域U中某集合X，设R为U上的等价关系，U/R为U上的R的等价类集合，当X能表示成R的等价类的并时，X为R可定义的，否则，X为R不可定义的或X为R粗糙集。对粗糙集可用上近似和下近似来描述粗糙集X的R上近似RX＝∪{Y∈U/R|YX}粗糙集X的R下近似R-X=∪{Y∈U/R|Y∩X≠φ}]]>粗糙集X的R边界R-X-R-X]]>根据粗糙集理论，本专利技术定义一个粗糙分类间隔，该粗糙分类间隔由上粗糙间隔和下粗糙间隔来表示，参数ρu，ρl和w决定上粗糙宽度为 下粗糙间隔宽度为 (ρu＞ρl)。在寻找最优分界面的过程中，位于下粗糙间隔中的样本点或训练误分样本点，被认为是离群数据，将赋予较大的风险值，位于上粗糙间隔之外的样本点是完全能够正确分类的，而位于粗糙边界内(粗糙边界为属于上间隔但不属于下间隔的区域)的样本点可能是误分样本点或正确分类的样本点，将给予较小的风险值。类似于传统的支持矢量机，粗糙支持矢量机在高维特征空间中寻找两类间的最优分界面本文档来自技高网...
【技术保护点】
一种基于粗糙支持矢量机的模式分类识别方法。设｛（ｘ↓［ｉ］，ｙ↓［ｉ］），ｉ＝１，２，…，ｌ｝为包含ｌ个样本的训练集，其中第ｉ个样本ｘ↓［ｉ］∈Ｒ↑［ｄ］为ｄ维的特征矢量，ｙ↓［ｉ］∈｛＋１，－１｝为ｘ↓［ｉ］的类别；支持矢量机寻找两类间的最优分界面使分类间隔最大；对于训练样本为线性不可分的情况，支持矢量机通过非线性映射φ将输入特征空间映射到更高维的特征空间Ｚ，使两类样本在此高维特征空间中线性可分，以寻找两类间的最优分界面；在高维特征空间中，位于分界面上的样本点φ（ｘ）满足ｗ·φ（ｘ）＋ｂ＝０，其中ｗ∈Ｚ，ｂ∈Ｒ，ｗ和ｂ分别为加权矢量和偏移量，两者定义了高维特征空间中的分界面；某样本ｘ↓［ｉ］通过决策函数ｓｇｎ（ｗ·φ（ｘ↓［ｉ］）＋ｂ）判为两类之一；其特征在于本方法的具体步骤如下：（１）定义粗糙分类间隔：由上粗糙间隔和下粗糙间隔表示，其中上粗糙间隔宽度为２ρ↓［ｌ］／║ｗ║，下粗糙间隔宽度为２ρ↓［ｕ］／║ｗ║，ρ↓［ｕ］＞ρ↓［ｌ］；（２）用粗糙支持矢量机最大化粗糙间隔来确定最优分类面，这一优化问题表示为公式（５）；＊１／２║ｗ║↑［２］－ｖρ↓［ｌ］－ｖρ↓［ｕ］＋１／ｌ＊ξ↓［ｉ］＋δ／ｌ＊ξ′↓［ｉ］ｓｕｂｊｅｃｔｔｏｙ↓［ｉ］（ｗ·φ（ｘ↓［ｉ］）＋ｂ）≥ρ↓［ｕ］－ξ↓［ｉ］－ξ′↓［ｉ］，０≤ξ↓［ｉ］≤ρ↓［ｕ］－ρ↓［ｌ］，ξ′↓［ｉ］≥０，ρ↓［ｌ］≥０，ρ↓［ｕ］≥０，（５）其中δ＞１；（３）为求解步骤（２）定义的优化问题，将其转换为由公式（８）表示的对偶问题来求解；＊１／２＊＊α↓［ｉ］α↓［ｊ］ｙ↓［ｉ］ｙ↓［ｊ］Ｋ（ｘ↓［ｉ］，ｘ↓［ｊ］）ｓｕｂｊｅｃｔｔｏ＊α↓［ｉ］ｙ↓［ｉ］＝０，０≤α↓［ｉ］≤δ／ｌ，＊α↓［ｉ］≥２ｖ，（８）其中，ｖ的选取范围为０～１，δ的选取范围为２～１０；（４）求解对偶问题（８）获得其最优解（α↓［１］↑［＊］，…，α↓［ｌ］↑［＊］）↑［Ｔ］，并由公式（９）计算ｂ↑［＊］：ｂ↑［＊］＝－１／２＊α↓［ｉ］↑［＊］ｙ↓［ｉ］（Ｋ（ｘ↓［ｉ］，ｘ↓［ｊ］）＋Ｋ（ｘ↓［ｉ］，ｘ↓［ｋ］）），（９）其中ｊ∈｛ｉ｜α↓［ｉ］↑［＊］∈（０，１／ｌ），ｙ↓［ｉ］＝１｝，ｋ∈｛ｉ｜α↓［ｉ］↑［＊］∈（０，１／ｌ），ｙ↓［ｉ］＝－１｝，或者ｊ∈｛ｉ｜α↓［ｉ］↑［＊］∈（１／ｌ，δ／ｌ），ｙ↓［ｉ］＝１｝，ｋ∈｛ｉ｜α↓［ｉ］↑［＊］∈（１／ｌ，δ／ｌ），ｙ↓［ｉ］＝－１｝，至此完成粗糙间隔支持矢量机训练；（５）分类识别，未知样本＊的类别由公式（３）计算得到：＊＝ｓｇｎ（ｗ↑［＊］·φ（＊）＋ｂ↑［＊］）＝ｓｇｎ（＊α↓［ｉ］↑［＊］ｙ↓［ｉ］Ｋ（＊，ｘ↓［ｉ］）＋ｂ↑［＊］），（３）（α↓［１］↑［＊］，…，α↓［ｌ］↑［＊］）↑［Ｔ］和ｂ↑［＊］已由步骤（４）求得，其中，Ｋ（ｘ↓［ｉ］，ｘ↓［ｊ］）＝φ（ｘ↓［ｉ］）·φ（ｘ↓［ｊ］）。...
【技术特征摘要】
【专利技术属性】
技术研发人员：汪源源，张俊华，
申请(专利权)人：复旦大学，
类型：发明
国别省市：31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。