一种基于密度聚类的面向聚类算法的特征选择方法技术

本发明专利技术公开了一种基于密度聚类的面向聚类算法的特征选择方法。按下述步骤完成：a.设：数据集D包含M个实例和N个特征，则有由N个特征构成的特征集F＝{f1，f2，…，fN}；对数据集D进行归一化处理得数据集D'，之后使用欧几里德距离作为数据集D'中特征间的相似度度量，构建特征间的相似度矩阵；b.使用DBSCAN算法进行相似度矩阵的特征聚类，将特征分为核心特征、边界特征和非典型特征三类；c.特征聚类完成后使用特征选择算法选出n维的特征子集F’，其中n≤N，且

【技术实现步骤摘要】
一种基于密度聚类的面向聚类算法的特征选择方法
本专利技术涉及数据分析
，特别是一种基于密度聚类的面向聚类算法的特征选择方法。
技术介绍
特征学习作为机器学习的研究重点之一，随着机器学习领域的发展也获得了长足的进步。在高维数据中，聚类或分类的效率及准确性通常很难令人满意，并且随着特征数量增大时其性能会急剧下降，为此在训练机器学习模型之前使用特征选择技术来解决此问题，能够起到很好地效果。特征选择作为一种重要的数据分析技术，其用于减少特征冗余并挖掘高维数据中的隐藏信息，其准确性对于数据分析至关重要。目前很多学者已对特征选择方法进行了研究，大致可分为四类。第一类方法：Filter方法，例如Relief、基于互信息和最大信息系数的度量等，该类方法是为每个特征分配权重，它的主要特点是简单易用，但是不适合用于处理连续变量，并且计算结果对离散化的方式很敏感，通常此方法在准确率方面较低；第二类方法：Wrapper方法，例如递归特征消除法、LasVegasWrapper等，该类方法是将特征子集的选择视为搜索优化问题，然后生成待评估的不同组合，最后再与其它组合进行比较，Wrapper方法的明显缺点是计算成本过高，且有过拟合的风险；第三类方法：Embedded方法，例如引入正则项、随机森林等，该类方法旨在减少在Wrapper方法中对不同子集重新分类所需的计算时间，它是在确定模型的过程中，挑选出那些对模型训练有重要意义的特征；该类方法缺点是对高维数据集的效果较弱；第四类方法：Filter和Wrapper方法的组合，通过特定的学习算法与Filter方法类似的时间复杂度来实现最佳性能，该类方法缺点是对稀疏数据集的效果较差。
技术实现思路
本专利技术的目的在于，提供一种基于密度聚类的面向聚类算法的特征选择方法。本专利技术具有准确率高、计算成本低、海量数据和稀疏数据集的处理能力强的特点。本专利技术的技术方案。一种基于密度聚类的面向聚类算法的特征选择方法，按下述步骤完成，a.设：数据集D包含M个实例和N个特征，则有由N个特征构成的特征集F＝{f1，f2，…，fN}；对数据集D进行归一化处理得数据集D'，之后使用欧几里德距离作为数据集D'中特征间的相似度度量，构建特征间的相似度矩阵；b.使用DBSCAN算法进行相似度矩阵的特征聚类，将特征分为核心特征、边界特征和非典型特征三类；c.特征聚类完成后使用特征选择算法选出n维的特征子集F’，其中n≤N，且且保证特征子集F’中的特征之间的冗余最少。前述的基于密度聚类的面向聚类算法的特征选择方法所述的步骤a中，所述的归一化处理为，使用最大最小值规范化对特征进行缩放，计算公式如下：xscaled＝xstd×(max-min)+min(2)其中max和min表示特征的取值范围，在本算法中选择1和0分别作为最大值max和最小值min；x表示数据在某特征属性上的取值；xmin和xmax表示数据在该特征属性上的取值范围的最小和最大值；xstd表示对实际数值进行标准化后的结果，xscaled表示进行归一化伸缩后的结果。前述的基于密度聚类的面向聚类算法的特征选择方法所述的步骤a中，所述的相似度矩阵按下述方法构建：归一化处理后的数据集D'中，所有特征的值都在0和1之间，然后计算数据集D'中的每个特征与其它特征间的欧氏距离；特征fi(x1,x2,…,xM)和fj(y1,y2,…,yM)的欧式距离定义为：数据集D包含M个实例和N个特征；x和y表示两个特征；则构建的相似度矩阵如下：其中matrixs是一个方阵，frowth是指第row个特征，fcolumnth是指第column个特征，矩阵中的值代表了frowth与fcolumnth的欧氏距离。前述的基于密度聚类的面向聚类算法的特征选择方法所述的步骤b中，相似度矩阵的特征聚类具体如下：定义1：邻域，写作Nei(fN)，表示特征fi和fj的欧氏距离小于Eps；所述的Eps是用在聚类中作收敛条件的距离阈值，邻域的具体定义如下：Nei(fi)＝{fj|dist(fi，fj)≤eps，fj∈F}(5)定义2：若某特征邻域中的特征数不小于minFts，则该特征是核心特征；所述的minFts表示邻域的半径；定义3：边界特征的邻域特征数少于minFts，但是它在某个核心特征的邻域中；定义4：非典型特征是除了核心特征和边界特征之外特征；定义5：如果特征fj由fi直接密度可达，则fi是核心特征且fj∈Nei(fi)；定义6：如果特征fi由fj密度可达，则存在特征链f1，…，fN，满足f1＝fj，fN＝fi，且fi由fi+1直接密度可达。前述的基于密度聚类的面向聚类算法的特征选择方法所述的步骤c中,特征选择算法具体如下：当特征簇的数量+非典型特征的数量＝要选择的特征数量时，选择距离每个特征簇中所有非典型特征最远的特征，并将其添加到非典型特征集中，以保证后面选择的特征与同一特征簇中的其它特征最不相关；当要选择的特征数量小于剩余聚类的数量时，则计算每个聚类中的特征与非典型特征的距离，并对这些特征排序、按降序依次选择；当要选择的特征数量大于剩余特征簇的数量，则根据每个特征簇的特征数量分配待选择的特征数，并且在每个特征簇中选择相应的边界特征。前述的基于密度聚类的面向聚类算法的特征选择方法所述的步骤c中，通过选择所述的minFt和Eps，保证特征子集F’中的特征之间的冗余最少。有益效果与现有技术相比，本专利技术使用DBSCAN算法对特征进行聚类，并提出了一种基于相似度的数据聚类特征选择策略：首先将数据规范化使所有值都在特定区间内；其次根据欧氏距离的传递性，用其来估计两个特征之间的接近程度，即使用欧氏距离来度量特征之间的距离；欧氏距离的传递性特点保证了非相邻特征也可以是相似的，并且同一特征簇中的特征与其它特征簇更加无关；最后提出一种可以选择最具代表性的特征的一种较优的策略，提高了对稀疏数据集的处理能力。本专利技术使用欧几里德距离来度量特征之间的相似度，并应用基于密度的聚类算法DBSCAN对相关的特征聚类，此外，本专利技术又提出了一种能够准确选择每个特征簇中的代表性特征的策略(特征选择算法)，使得特征子集F’在聚类算法中具有更高的准确率。本专利技术中，当把特征选择和聚类都同时应用于将相似特征划分到相同特征簇中时，DBACAN算法能够有效地找出对聚类结果的准确性有很大影响的不相关特征，进一步提高特征子集F’的准确性。本专利技术将特征聚类并选择部分特征作为完整特征的最佳表示，即使用特征子集F’作为特征集F的最佳表示，使得聚类结果更准确。且由于特征子集F’中的特征之间的冗余最少，有效降低了计算成本和过拟合的风险。本专利技术中，噪声点(即非典型特征)的特点是邻域特征少且离其它特征簇较远，因此非典型特征对数据聚类的结果有重要影响。由于DBSCAN算法能够识别噪声点，且DBSCAN算法在海量数据下表现较佳，因此本专利技术使用聚类进行特征选择，使用DBSCAN算法来实现高维数据的特征聚类及选择，并根据特征的相似度将其划分到不同的特征簇中。通过该方法有效提高了聚类及后续特征选择的准确性。为了证明本专利技术有益效果，申请人进行了如下实验：为了评估特征子集的聚类性能，本专利技术采用广泛使用的k-Means算法来验证结果。K-means是一种基于划分的聚类方法，本文档来自技高网...

【技术保护点】
1.一种基于密度聚类的面向聚类算法的特征选择方法，其特征在于，按下述步骤完成，a.设：数据集D包含M个实例和N个特征，则有由N个特征构成的特征集F＝{f1，f2，…，fN}；对数据集D进行归一化处理得数据集D'，之后使用欧几里德距离作为数据集D'中特征间的相似度度量，构建特征间的相似度矩阵；b.使用DBSCAN算法进行相似度矩阵的特征聚类，将特征分为核心特征、边界特征和非典型特征三类；c.特征聚类完成后使用特征选择算法选出n维的特征子集F’，其中n≤N，且

【技术特征摘要】
2018.12.18 CN 20181154893241.一种基于密度聚类的面向聚类算法的特征选择方法，其特征在于，按下述步骤完成，a.设：数据集D包含M个实例和N个特征，则有由N个特征构成的特征集F＝{f1，f2，…，fN}；对数据集D进行归一化处理得数据集D'，之后使用欧几里德距离作为数据集D'中特征间的相似度度量，构建特征间的相似度矩阵；b.使用DBSCAN算法进行相似度矩阵的特征聚类，将特征分为核心特征、边界特征和非典型特征三类；c.特征聚类完成后使用特征选择算法选出n维的特征子集F’，其中n≤N，且且保证特征子集F’中的特征之间的冗余最少。2.根据权利要求1所述的基于密度聚类的面向聚类算法的特征选择方法，其特征在于：步骤a中，所述的归一化处理为，使用最大最小值规范化对特征进行缩放，计算公式如下：xscaled＝xstd×(max-min)+min(2)其中max和min表示特征的取值范围，在本算法中选择1和0分别作为最大值max和最小值min；x表示数据在某特征属性上的取值；xmin和xmax表示数据在该特征属性上的取值范围的最小和最大值；xstd表示对实际数值进行标准化后的结果，xscaled表示进行归一化伸缩后的结果。3.根据权利要求2所述的基于密度聚类的面向聚类算法的特征选择方法，其特征在于，步骤a中，所述的相似度矩阵按下述方法构建：归一化处理后的数据集D'中，所有特征的值都在0和1之间，然后计算数据集D'中的每个特征与其它特征间的欧氏距离；特征fi(x1,x2,…,xM)和fj(y1,y2,…,yM)的欧式距离定义为：数据集D包含M个实例和N个特征；x和y表示两个特征；则构建的相似度矩阵如下：其中matrixs是一个方阵，frowth是指第row个特征，fco...

【专利技术属性】
技术研发人员：李晖，施若，冯刚，
申请(专利权)人：贵州联科卫信科技有限公司，
类型：发明
国别省市：贵州,52