基于互信息和分形维数的无监督特征选择方法技术

本发明专利技术公开了一种结合互信息和分形维数的无监督特征选择方法，为解决多维原始特征中所含的冗余和不相关特征导致的子空间学习算法信息融合性能降低的问题。首先，利用原始特征提取方法对产品进行多维特征信息提取工作，得到产品时域、频域、时频域等多维特征信息；其次，基于互信息定义，在综合考虑多维特征间冗余度和相关度的基础上，对其进行特征重要度排序，得到已排序多维特征集；然后基于分形理论，基于分形采用维数的特征子集评价标准对已排序多维特征集进行特征子集选择，得到最优特征子集；最后，利用子空间学习方法对最优特征子集进行融合降维，得到产品综合特征。本发明专利技术在综合考虑特征冗余度和相关度的基础上，去除与特多维原始特征集相关程度小且冗余程度大特征，提高子空间学习方法信息融合性能，同时得到产品综合特征。

【技术实现步骤摘要】
基于互信息和分形维数的无监督特征选择方法
本专利技术针对多维特征中包含的冗余和不相关特征导致的子空间学习算法信息融合性能降低的问题，提出一种基于互信息和分形维数的无监督特征选择方法，属于特征提取

技术介绍
随着科学技术研究的发展，在机械工程、数据挖掘、图像处理、信息检索、基因组工程等领域中，研究对象越来越复杂，人们从中获取的数据量在迅速增多，诸如产品故障数据、基因数据、文本信息、高分辨率图像信息等，其特征维数也因此逐渐增多。多维特征通常具有稀疏性，任意特征间信息存在交叉，同时在数据描述方面可能存在整体识别性差，计算量大，难以可视化，产生错误结论等问题。由此，子空间学习方法逐渐被应用于多维特征的信息融合过程中。常用的子空间学习方法有PrincipalComponentAnalysis(PCA)、KernelPrincipalComponentAnalysis(KPCA)、LinearDiscriminantAnalysis(LDA)、LocalityPreservingProjections(LPP)等。但上述研究并未考虑多维特征中可能存在冗余及不相关特征，其中冗余特征可能会降低子空间学习算法的信息融合效率，不相关特征可能有损子空间学习算法的性能，最终均可能导致上述子空间学习算法的信息融合性能降低，并会影响后续算法的精度和稳定性。特征选择方法能够在信息损失最小的前提下，依据相关标准得到最优特征子集，去除其中的冗余及不相关特征，从而提高后续算法性能并节省运行时间。因此针对上述问题，本专利技术拟采用特征选择方法去除特征集中的冗余及不相关特征。由于在实际工程应用中，人们所能获取的数据绝大多数为无标签数据，此时只能采用无监督方法进行特征选择，该方法无需获取数据标签，仅从数据角度选择出能够刻画原始特征集主要特性的特征子集。目前，人们通常采用结合搜索算法(如遗传算法、蚁群优化算法等)和特征参数子集评价标准(如分形维数、粗糙集理论等)的无监督特征选择方法进行特征选择，但该类方法在搜索计算过程中计算量大，运行时间长，时间复杂度大O(2n)，并且有时可能无法在获取最优解，最终可能导致后续算法的精度降低。在信息论中，互信息可以表征两事物间的共存信息量，即二者的相互依赖程度，因而其是度量特征相关性及冗余性的有效工具。基于互信息的无监督方法的基本思想类似于有监督方法中的“最小冗余-最大相关”准则(MinimumRedundancyandMaximumRelevance,mRMR)，其可综合考虑任意特征的冗余和不相关特性。在分形理论中，分形维数作为其量化指标，能够衡量事物整体与局部之间的相似结构，因而可采用分形维数评价特征集与其特征子集间的相似特性。综上所述，本专利技术提出一种结合互信息和分形维数的无监督特征选择方法，首先将各个特征按照与整体特征集最大程度“相关”，且与已排序特征集最小程度“冗余”的标准进行重要度线性排序，并以分形维数作为特征子集评价标准，从已排序特征集中选择最优特征子集。该方法与已有特征选择算法相比，其时间复杂度为线性，且大大缩短运行时间和子集搜索次数，同时达到去除特征集中冗余和不相关特征的目的。该方法具有一定的独创性。
技术实现思路
本专利技术的目的是解决上述多维特征中所含的冗余和不相关特征导致的子空间学习算法信息融合性能降低的问题，提出一种基于互信息和分形维数的无监督特征选择方法。本专利技术的具体步骤为：步骤一：获取产品多维原始特征信息；步骤二：多维原始特征重要度排序；步骤三：选择最优特征子集；步骤四：最优特征子集融合降维，获得产品综合特征。基于互信息和分形维数的无监督特征选择方法主要包含上述步骤二和步骤三。本专利技术的优点在于：(1)本专利技术提出一种无监督特征选择方法，该方法可以去除多维特征中冗余特征和不相关特征，进而提升多维特征集质量。(2)本专利技术可以提升子空间学习算法的信息融合降维性能，具有一定的普适性。附图说明图1是本专利技术的流程图；图2是基于互信息的特征重要度排序算法流程图；图3是基于分形维数的最优特征子集选择算法流程图；图4是各轴均方根值、均方频率、HHT能量谱熵特征参数；图5是基于子空间学习方法的特征融合降维流程图；图6是电机综合特征最终融合结果；图7是Elman神经网络结构示意图；图8是应用本专利技术方法前后三轴向综合特征“健康-故障”状态区分结果对比。具体实施方式下面结合附图和实施案例对本专利技术作进一步的详细说明。方法流程图如图1所示，包括以下几个步骤：步骤一：获取产品多维原始特征信息本专利技术从产品退化过程以及寿命评估角度对产品运行特征数据进行特征提取，获取产品多维原始特征信息。常用的特征提取方法包括：时域统计分析方法、频域统计分析方法、时频域统计分析方法以及基于信息熵理论的特征提取方法四种。其中，常用的时域特征包括：均值(Meanvalue)、方差(Variance,VAR)、峰值(Peak)、均方根值(Rootmeansquare,RMS)、偏度指标(Skewness)、峭度指标(Kurtisis)、脉冲指标(Pluse)、裕度指标(Margin)、波形指标(Waveform)和峰值指标(Peakvalue)；常用的频域特征包括：重心频率(Gravityfrequency,GF)、均方频率(Mean-squarefrequency,MSF)和频率方差(Frequencyvariance,FV)；常用的时频特征为小波包频带能量(Waveletpacketbandenergy,WPBE)；常用的基于信息熵理论的特征包括：幅值谱熵(Amplitudespectrumeneropy,ASE)、Hilbert边际幅值谱熵(Hilbertmarginalspectrumeneropy,HMSE)和Hilbert边际能量谱熵(Hilbertenergyspectrumeneropy,HESE)。本专利技术采用上述时域、频域、时频域特征指标对产品进行多维原始特征信息获取。步骤二：多维原始特征重要度排序该步骤方法借鉴于有监督方法中的“最小冗余-最大相关”准则(MinimumRedundancyandMaximumRelevance,mRMR)。首先根据互信息定义，对各特征参数间的相关度、条件相关度以及冗余度分别进行定义和计算，综合考虑后得到“最小冗余-最大相关”特征重要度排序标准，并根据此标准对多维原始特征进行重要度排序。其中重要度越小的特征，其与整个多维原始特征集合的相关程度越小，冗余程度越大。(1)互信息定义互信息的定义来源于信息熵理论，可度量两个特征之间的相互依赖的程度，即其可代表两特征间共有的信息含量。现假设一个由n个特征f1,f2,…,fn组成的特征集F，根据信息熵理论，两特征fi与fj之间的互信息可以定义为：I(fi|fj)＝H(fi)-H(fi|fj)＝I(fj|fi)(1)其中，H(fi)为特征fi的信息熵，见公式(2)，P(fi)为特征变量fi取不同可能值时的概率,其可度量fi取值的不确定性；H(fi|fj)为条件熵，见公式(3)，即在已知另一特征fj的取值后，fi取值的不确定性。(2)基于互信息的特征重要度排序算法流程算法流程图如图2所示。首先采用步进方式对n维原始特征集F＝[f1,f2,…,fn]中的本文档来自技高网...

【技术保护点】
1.基于互信息和分形维数的无监督特征选择方法，包括以下几个步骤：步骤二：多维原始特征重要度排序(1)基于互信息的特征重要度排序算法流程首先采用步进方式对n维原始特征集F＝[f1,f2,…,fn]中的各特征参数逐一进行重要度排序。设已排序特征集为G，并将其置空。1)根据互信息公式(1)计算F中每一特征fi(i＝1,2,…,n)与整个特征集F的平均互信息；

【技术特征摘要】
1.基于互信息和分形维数的无监督特征选择方法，包括以下几个步骤：步骤二：多维原始特征重要度排序(1)基于互信息的特征重要度排序算法流程首先采用步进方式对n维原始特征集F＝[f1,f2,…,fn]中的各特征参数逐一进行重要度排序。设已排序特征集为G，并将其置空。1)根据互信息公式(1)计算F中每一特征fi(i＝1,2,…,n)与整个特征集F的平均互信息；则G中第一个重要特征可以选择其中，该特征可以最大程度降低F中其余特征的不确定性。2)为得到G中第二个重要特征，将F＝[f1,f2,…,fj,…,fn-1]代替原有的F＝[f1,f2,…,fn]。此时，在F中任选一个特征fj，其中j＝1,2,…,n-1，并计算其相关度Rel(fj)、G中特征g1对fj的条件相关度Rel(g1|fi)以及fj对g1的冗余度Red(fj；g1)。其中相关度Rel(fj)定义为某一特征fj与F的平均互信息：其中H(fj)表示fj所含信息量；则表示fj与F中其他参数fk的共有信息量。其值越大表示其余特征可提供的“新”信息越少。因此，如果选择具有最大Rel(fj)值的特征参数，那么对应的参数集就可以最小程度地丢失信息。fj和g1的条件相关度Rel(g1|fi)定义为:fj对g1的冗余度Red(fj；g1)定义为：Red(fj；g1)＝Rel(g1)-Rel(g1|fj)(5)此时，综合考虑fj与F的相关度以及fj对于G的冗余度，得到特征参数fj重要度评价标准E：设则G中第2个特征为3)以此类推，为得到G中第p个重要特征，将F＝[f1,f...

【专利技术属性】
技术研发人员：王晓红，王立志，何一荻，袁宏杰，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京,11