一种针对非均衡数据的层次化赋权分类方法及系统技术方案

本发明专利技术提出了一种针对非均衡数据的层次化赋权分类方法及系统，包括：类内子概念簇权重学习步骤：对训练样本进行层次聚类，根据聚类结果中各簇包含的样本数量计算各簇的样本权重，以使各子概念簇的数量权重总和保持一致并计算各子概念簇的类内权重；全局权重归一化步骤：根据一定的类间权重比率，将类内权重归一化至全局权重，并以此构建带权重的支持向量机作为分类器，利用该分类器对输入的带识别的非均衡数据进行分类。该方法能够提高样本数量少以及距离分类面近的子概念的学习权重，从而既提高了少数类的召回率又减少了其假阳性率，保证整体的综合性能。保证整体的综合性能。保证整体的综合性能。

【技术实现步骤摘要】
一种针对非均衡数据的层次化赋权分类方法及系统


[0001]本专利技术属于机器学习、模式识别等
，尤其涉及一种针对非均衡数据的层次化赋权分类方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]类别非均衡现象在利用机器学习解决现实生活问题中十分常见，例如，在垃圾邮件识别中，垃圾邮件的数量远小于正常邮件的数量；在医疗诊断中，患者的数量远小于健康人的数量。很多传统分类方法假设各类别的训练数据是数量均衡的，令训练的分类器在面对非均衡数据时，分类结果更加偏向多样本类别。虽然从整体精度来看，效果比较好，例如一个数据集中90％为同一类别，如果分类器将全部样本分类为此类别，整体精度为90％，但是从少样本类角度来看，该分类器性能较差。并且，在许多应用问题中，人们更关注少样本类的识别结果，例如垃圾邮件、患某种疾病的人群等。因此，如何利用非均衡数据建立对各类别均衡的分类器，是机器学习领域一个重要的问题。
[0004]传统解决非均衡问题的方法可以分为两大方向：数据层面和算法层面。数据层面采用重采样方式，包括上采样和下采样，令不同类别的样本数量保持一致，常见的方法有合成少数类样本的过采样方法SMOTE以及自适应的合成采样方法ADASYN等。数据层面的方法改变了原有数据分布，下采样方法必然将损失一些可能对分类有用的信息量，上采样方法则易产生过拟合现象，造成在测试数据上的性能较差。算法层面主要采用样本赋予学习权重的方式使分类器均衡地对待不同类别，相关专利有CN108764366A等。现有方法根据每个类别包含的样本数量确定该类别样本的学习权重。虽然能够一定程度上解决非均衡问题，但是对一个类别的全部样本采用同样的处理方式，忽略了类别内部的分布，盲目提高少样本类的学习权重，导致均衡后分类器对少样本类的假阳率较高。并且，文献[Weiss G M,Provost F.Learning when training data are costly:The effect of class distribution on tree induction[J].Journal of Artificial Intelligence Research,2003,19:315
‑
354.]中也提到，由于“类内非均衡”(Within
‑
class imbalance)现象，分类器通常对样本分布较少的子概念簇的识别效果较差。

技术实现思路

[0005]为克服上述现有技术的不足，本专利技术提供了一种针对非均衡数据的层次化赋权分类方法，该方法能有效地解决数据非均衡问题。
[0006]为实现上述目的，本专利技术的一个或多个实施例提供了如下技术方案：
[0007]第一方面，公开了一种针对非均衡数据的层次化赋权分类方法，包括：
[0008]类内子概念簇权重学习步骤：对训练样本进行层次聚类，根据聚类结果中各簇包含的样本数量计算各簇的样本权重，以使各子概念簇的数量权重总和保持一致并计算各子
概念簇的类内权重；
[0009]全局权重归一化步骤：根据一定的类间权重比率，将类内权重归一化至全局权重，并以此构建带权重的支持向量机作为分类器，利用该分类器对输入的带识别的非均衡数据进行分类。
[0010]进一步的技术方案，对训练样本进行层次聚类，具体为：
[0011]获取带标签的训练数据；
[0012]针对每个类别，采用层次聚类方法进行类别无监督聚类，获得类别内子概念簇；
[0013]基于各簇间的样本数量计算数量权重，基于各簇与对立类间距离计算距离权重；
[0014]基于数量权重和距离权重计算子概念簇的类内权重。
[0015]优选的，利用渐进式二分查找法确定最优的类间权重比率。
[0016]优选的，所述子概念簇的类内权重计算过程为：
[0017]在针对每个类别样本进行无监督层次聚类后，假设得到k个子概念簇，各簇的数量表示为n1,n2,
…
,n
k
；
[0018]以簇为单位进行赋权，针对每个类别，子概念簇的类内权重表示为Wc1,Wc2,
…
,Wc
k
，每个子概念簇的权重与其所包含的样本数量和于对立类的距离相关，具体可表示为：
[0019]Wc
i
＝Wn
i
·
Wd
i
[0020]其中，Wn
i
表示第i簇的数量权重，Wd
i
表示第i簇与对立类的距离权重。
[0021]进一步的技术方案，数量权重Wn
i
可以按照以下公式计算：
[0022][0023]将Wn
i
归一化至(0,1]。
[0024]进一步的技术方案，距离权重计算过程为：
[0025]每个子概念簇与对立类的距离采用与对立类各子概念的最小距离作为度量：
[0026][0027]其中，dis(*)表示距离度量公式，本专利技术中采用欧式距离作为度量，c
i
表示当前子概念簇，c
’
k
表示对立类第k个子概念簇。
[0028]采用Min
‑
Max方法将距离归一化至(0,1]；
[0029]距离权重可按照以下公式计算：
[0030][0031]进一步的技术方案，针对类间非均衡，将各簇学习权重按照一定的类间权重比率进行归一化，假设一个类别的权重占总权重的百分比为p，则其各子概念簇的全局权重可按照以下公式进行归一化，
[0032][0033]第二方面，公开了一种针对非均衡数据的层次化赋权分类系统，包括：
[0034]类内子概念簇权重学习模块，被配置为：对训练样本进行层次聚类，根据聚类结果中各簇包含的样本数量计算各簇的样本权重，以使各子概念簇的数量权重总和保持一致并计算各子概念簇的类内权重；
[0035]全局权重归一化模块，被配置为：根据一定的类间权重比率，将类内权重归一化至全局权重，并以此构建带权重的支持向量机作为分类器，利用该分类器对输入的带识别的非均衡数据进行分类。
[0036]以上一个或多个技术方案存在以下有益效果：
[0037]现有方法针对非均衡数据按类别赋权的导致少数类样本假阳性高的问题，本专利技术提出了一种层次化赋权的分类方法。该方法能够根据类内数据分布挖掘子概念，根据子概念簇所包含的样本数量以及与对立类间距离计算类内权重，然后按照类间权重比率归一化为全局权重，最后利用全局权重和训练数据构建均衡的支持向量机作为分类器。该方法能够提高样本数量少以及距离分类面近的子概念的学习权重，从而既提高了少数类的召回率又减少了其假阳性率，保证整体的综合性能。
[0038]本专利技术该方法有效地解决了传统非均衡学习方法造成的少样本类假阳性高的问题，能够有效地提升分类器的整体性能。实验证明，本专利技术效本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种针对非均衡数据的层次化赋权分类方法，其特征是，包括：类内子概念簇权重学习步骤：对训练样本进行层次聚类，根据聚类结果中各簇包含的样本数量计算各簇的样本权重，以使各子概念簇的数量权重总和保持一致并计算各子概念簇的类内权重；全局权重归一化步骤：根据一定的类间权重比率，将类内权重归一化至全局权重，并以此构建带权重的支持向量机作为分类器，利用该分类器对输入的带识别的非均衡数据进行分类。2.如权利要求1所述的一种针对非均衡数据的层次化赋权分类方法，其特征是，对训练样本进行层次聚类，具体为：获取带标签的训练数据；针对每个类别，采用层次聚类方法进行类别无监督聚类，获得类别内子概念簇；基于各簇间的样本数量计算数量权重，基于各簇与对立类间距离计算距离权重；基于数量权重和距离权重计算子概念簇的类内权重。3.如权利要求1所述的一种针对非均衡数据的层次化赋权分类方法，其特征是，利用渐进式二分查找法确定最优的类间权重比率。4.如权利要求1所述的一种针对非均衡数据的层次化赋权分类方法，其特征是，所述子概念簇的类内权重计算过程为：在针对每个类别样本进行无监督层次聚类后，假设得到k个子概念簇，各簇的数量表示为n1,n2,
…
,n
k
；以簇为单位进行赋权，针对每个类别，子概念簇的类内权重表示为Wc1,Wc2,
…
,Wc
k
，每个子概念簇的权重与其所包含的样本数量和于对立类的距离相关，具体可表示为：Wc
i
＝Wn
i
·
Wd
i
其中，Wn
i
表示第i簇的数量权重，Wd
i
表示第i簇与对立类的距离权重。5.如权利要求1所述的一种针对非均衡数据的层次化赋权分...

【专利技术属性】
技术研发人员：杨晓东，陈益强，
申请(专利权)人：山东产业技术研究院智能计算研究院，
类型：发明
国别省市：