在类间散度和总散度阵秩空间中求解线性鉴别矢量的方法技术

技术编号:5340865 阅读:352 留言:0更新日期:2012-04-11 18:40
本发明专利技术公布了一种在类间散度和总散度阵秩空间中求解线性鉴别矢量的方法,所述方法包括:利用训练样本及其所属类别信息构造三个矩阵,利用构造的三个矩阵和样本矩阵计算一个新矩阵,对新矩阵的列矢量进行正交化过程得到相互正交的鉴别矢量。在识别阶段将样本特征和待识别特征分别投影到计算出的线性鉴别矢量上,得到最佳鉴别特征,然后计算待识别特征和样本特征的距离,将待识别样本归入最小距离对应的人脸类别中。本发明专利技术所得线性鉴别矢量和特征互不相关,消除了线性鉴别特征间的冗余,提高了所得鉴别特征的鉴别能力。

【技术实现步骤摘要】

专利技术涉及一种,具体是 小样本条件下的高维样本的线性鉴别特征抽取和识别方法。本专利技术可用于机器学习和模式 识别领域,可用于小样本条件下的各种高维数据的特征抽取和识别。
技术介绍
特征抽取技术是模式识别中的一个重要内容,通常可分为监督和非监督特征抽取 两大类。非监督的特征抽取方法可分为主分量分析和独立分量分析两类,由于没有用到训 练样本所属的类别信息,因此难以获得对分类识别有用的鉴别特征。监督的鉴别特征抽取 利用了每个样本所属的类别这一重要信息,因此可以得到有利于分类的鉴别特征。特征抽取常用的是基于某个准则的特征抽取方法,此类方法通过最优化一个准则 函数得到一个变换阵,将原始高维样本特征降维至低维子空间,使在低维子空间中的特征 更紧凑,有更好的可分性,因此也称之为子空间方法。识别阶段针对所抽取到的特征设计适合的分类方法,将样本特征空间分为各个区 域,然后根据待识别样本特征所在的区域将其归入对应类别中。特征抽取阶段得到高维样 本的鉴别特征后,常用最近邻分类器分类。在基于子空间的线性特征抽取方法中,常见的是基于Fisher准则的线性鉴别分 析(简称FLDA)方法。FLDA方法通过最优化Fisher准则,使得到的鉴别矢量对样本降维后, 在低维空间样本特征的类间散度最大以及类内散度最小,从而所得鉴别特征在降维变换后 有最好的类可分性。但是当样本的维数大于类内散度阵的秩时,则求解最佳鉴别特征存在 病态奇异问题,此问题也称为小样本条件下的病态奇异问题。目前已有的解决小样本病态 奇异问题的方法中,规整化方法对奇异的类内散度阵加上一个小的扰动阵使其可逆,广义 逆方法则利用类内散度阵的广义逆取代逆矩阵。对高维的小样本问题,这两种方法的计算 量较大,难以实用。基于零空间的方法需要计算类内散度阵的零空间,计算量也较大,难以 应用到样本数较多的场合;基于主分量分析和零空间的方法首先对样本进行主分量分析, 将样本降维,再应用零空间方法得到线性鉴别特征,虽然降低了计算量,但是对大量高维样 本进行主分量分析存在计算量大和数值不稳定的问题。在FLDA方法中计算最佳鉴别矢量 等效于求解广义特征方程的特征矢量,而对高维数据求解特征矢量存在计算量大和数值计 算不稳定的问题。鉴别共同矢量方法(DCV)在类内散度阵的零空间中求解鉴别矢量最优化 类间散度,克服了 FLDA的小样本问题,计算量小且数值稳定。其整个计算过程分两步完成 首先在每个类别中任选一个样本投影到类内散度阵的零空间中得到该类别的共同矢量,然 后利用共同矢量最优化类间散度得到最佳Fisher鉴别矢量。为降低计算量和增加数值稳 定性,进一步利用正交化过程代替求解特征方程。然而改进的DCV方法需要进行一次高维 数据的降维,并进行两次正交化过程,这样也增加了计算的复杂度。此外DCV方法仅在类内 散度阵的零空间中求解最佳鉴别矢量来最优化Fisher准则,当类内散度阵的零空间维数 较少时难以搜索到最优的鉴别矢量。
技术实现思路
本专利技术目的是针对现有线性鉴别特征抽取技术存在难以搜索到全部最佳鉴别矢 量的缺陷提供一种线性鉴别特征抽取方法。本专利技术为实现上述目的,采用如下技术方案,其特征在于包括如下 步骤(1)、构造矩阵A、B和D有C个类别的样本,第i个类别有Ni个训练样本,i = 1,2..., C,总样本数为 NUN,;将采集到的样本用矢量表示,即·^表示第i个类别中的第j个样本 构造N行N-I列的矩阵A为 权利要求一种,其特征在于包括如下步骤(1)、构造矩阵A、B和D有C个类别的样本,第i个类别有Ni个训练样本,i=1,2...,C,总样本数为将采集到的样本用矢量表示,即表示第i个类别中的第j个样本;构造N行N 1列的矩阵A为 <mrow><mi>A</mi><mo>=</mo><mfenced open=''> <mtable><mtr> <mtd><mo>-</mo><msub> <mn>1</mn> <mrow><mn>1</mn><mo>&times;</mo><mi>N</mi><mo>-</mo><mn>1</mn> </mrow></msub> </mtd></mtr><mtr> <mtd><msub> <mi>I</mi> <mrow><mi>N</mi><mo>-</mo><mn>1</mn><mo>&times;</mo><mi>N</mi><mo>-</mo><mn>1</mn> </mrow></msub> </mtd></mtr> </mtable></mfenced><mo>,</mo> </mrow>其中 11×N 1表示1行N 1列的每个元素均为 1的行矢量;IN 1×N 1表示N 1行N 1列的单位矩阵;构造N 1行C列的矩阵B为构造C行C 1列的矩阵D为 <mrow><mi>D</mi><mo>=</mo><mfenced open=''> <mtable><mtr> <mtd><mo>-</mo><mfrac> <mn>1</mn> <msub><mi>N</mi><mn>1</mn> </msub></mfrac> </mtd> <mtd><mo>-</mo><mfrac> <mn>1</mn> <msub><mi>N</mi><mn>1</mn> </msub></mfrac> </mtd> <mtd><mo>.</mo><mo>.</mo><mo>.</mo> </mtd> <mtd><mo>-</mo><mfrac> <mn>1</mn> <msub><mi>N<本文档来自技高网
...

【技术保护点】
一种在类间散度和总散度阵秩空间中求解线性鉴别矢量的方法,其特征在于包括如下步骤:(1)、构造矩阵A、B和D有C个类别的样本,第i个类别有N↓[i]个训练样本,i=1,2...,C,总样本数为N=∑↓[i=1]↑[C]N↓[i];将采集到的样本用矢量表示,即x↓[j]↑[i]表示第i个类别中的第j个样本;构造N行N-1列的矩阵A为:A=[***],其中-1↓[1×N-1]表示1行N-1列的每个元素均为-1的行矢量;I↓[N-1×N-1]表示N-1行N-1列的单位矩阵;构造N-1行C列的矩阵B为:***构造C行C-1列的矩阵D为:D=[***],(2)、计算矩阵VV=[x↓[1]↑[1],x↓[2]↑[1],...,x↓[1]↑[2],...,x↓[1]↑[C],...,x↓[N↓[C]]↑[C]]ABD,其中x↓[j]↑[i]表示第i个类别中的第j个样本,j=1,2,...,N↓[i];(3)、对矩阵V的列矢量进行正交化过程得到C-1个鉴别矢量w↓[1],w↓[2]...,w↓[C-1],由其构成变换矩阵W=[w↓[1],w↓[2]...,w↓[C-1]];(4)、将训练样本和待识别样本分别投影到线性鉴别矢量上得到样本的最佳线性鉴别特征:y↓[j]↑[i]=W↑[T]x↓[j]↑[i]其中y↓[j]↑[i]表示第i个类别中的第j个训练样本x↓[j]↑[i]的最佳线性鉴别特征,W↑[T]表示矩阵W的转置矩阵;将待识别样本x投影到C-1个最佳线性鉴别矢量上得到鉴别特征y=W↑[T]x;(5)、计算训练样本鉴别特征和待识别样本鉴别特征的距离,将待识别样本归入最小距离对应的训练样本所属的类别中:计算y↓[j]↑[i]和y的最小距离:min‖y↓[j]↑[i]-y‖,i=1,2,...,C,j=1,2,...,N↓[i],其中‖y↓[j]↑[i]-y‖表示y↓[j]↑[i]和y的欧氏距离,min表示求最小距离;识别的准则是将待识别样本x归入最小距离对应的训练样本所属的类别中。...

【技术特征摘要】

【专利技术属性】
技术研发人员:贺云辉
申请(专利权)人:南京信息工程大学
类型:发明
国别省市:84[中国|南京]

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1