System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及数据分析领域,特别涉及不平衡数据的预测模型生成方法、装置、设备和存储介质。
技术介绍
1、不平衡数据分类问题其产生的原因包括,大多数分类学习方法都有一个共同的基本假设,即不同类别的训练样本数目相当;如果不同类别的训练样例数目稍有差别,通常影响不大,但是在不同类别的训练样例的数目差别很大是,就会对学习过程造成困扰。
2、现有技术处理不平衡数据分类问题时,包括阈值移动法,即,通过调整不同类数据集数目的比值作为惩罚系数,以降低分类结果偏向多数类的程度,进而达到解决类不平衡的目的。
3、专利技术人经过研究发现,现有技术中的阈值移动法至少还存在以下缺陷:
4、单纯的调整不同类数据集数目的比值来作为惩罚系数,无法获得良好的分类效果。
5、公开于该
技术介绍
部分的信息仅仅旨在增加对本专利技术的总体背景的理解,而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。
技术实现思路
1、本专利技术的目的在于可以使分类预测模型获得更好的分类效果。
2、本专利技术提供了一种不平衡数据的预测模型生成方法,包括步骤:
3、s11、确定不同类的聚类中心,并分别计算各数据点到其对应的聚类中心的欧式距离;
4、s12、确定距离聚类中心最近和最远数据点的位置;
5、s13、分别计算每一类的数据集的超球面的有效半径;所述有效半径为滤除所述数据集中距聚类中心远且数量占比小的数据点后剩余
6、s14、根据超球面的有效半径计算各类对应的空间分散度;
7、s15、在建立预测模型时,用所述空间分散度对支持向量机的惩罚因子进行修正。
8、优选的,在本专利技术中,还包括:
9、s16、将预设的验证数据集输入至当前的预测模型,收集预测错误的少类样本;
10、s17、当所述预测错误的少类样本大于预设值时,返回步骤s13。
11、优选的,在本专利技术中,还包括数据后处理-去噪的步骤,包括:
12、s18、收集预测错误的少类样本,构成错误预测集perr;
13、s19、对于每个少类样本xi∈perr,计算临近点集合np(xi),其中np(xi)是距离xi欧氏距离最近的k个数据点组成的数据集;
14、s20、在perr中移除临近点全是多类样本的少类数据点,得到错误过滤预测集pmerr。
15、优选的,在本专利技术中,所述分别计算每一类的数据集的超球面的有效半径,包括:
16、s21、分别找到距离聚类中心最近数据点和最远数据点的位置,设最近数据点的距离为lnear,最远数据点的距离为lfar;
17、s22、设所述数据集的数据点数目为n,以lnear作为初始起点,以lfar为初始终点,设l1=lnear,l2=lfar,初始计算数据点的数量为:n’=n;
18、s23、令
19、s24、分别统计落入区间内数据点的数目,记录为m1、m2;
20、s25、判断m1是否大于0.8n′,若是执行步骤s26;若否,执行步骤s27;
21、s26、令l1=l1,n′=m1;
22、s27、令l2=l2,n′=m2;
23、s28、判断n′是否大于0.01n,若是,返回步骤s23;若否,确定当前l2的值为超级球面的有效半径r的值。
24、优选的,在本专利技术中,用于计算各类对应的空间分散度的公式包括:
25、
26、其中,rmax为最大半径,h为类别数,n为数据集维度。
27、优选的,在本专利技术中,所述在建立预测模型时,用所述空间分散度对支持向量机的惩罚因子进行修正,包括:
28、用空间分散度对支持向量机的惩罚因子进行修正,得到目标函数为:
29、
30、s.t.gi(ω,b)=1-yi(ωt+b)-ξi≤0ξi≥0,i=1,2,...,l
31、其中,c为惩罚因子,无因次;fj为空间分散度,无因次;ξi为松弛变量,表征软间隔软的程度,无因次;h为分类数,无因次;ω是超平面斜率,无因次;
32、所述目标函数可表示为:
33、
34、j=1,2......h,j为样本种类数
35、在本专利技术的另一面,还提供了一种不平衡数据的预测模型生成装置,包括:
36、距离计算单元,用于确定不同类的聚类中心,并分别计算各数据点到其对应的聚类中心的欧式距离;
37、距离确定单元,用于确定距离聚类中心最近和最远数据点的位置;
38、有效半径计算单元,用于分别计算每一类的数据集的超球面的有效半径;所述有效半径为滤除所述数据集中距聚类中心远且数量占比小的数据点后剩余数据点构成的数据子集的超球面半径;
39、分散度计算单元,用于根据超球面的有效半径计算各类对应的空间分散度;
40、惩罚因子修正单元,用于在建立预测模型时,用所述空间分散度对支持向量机的惩罚因子进行修正。
41、优选的,在本专利技术中,还包括:
42、模型修正单元,用于将预设的验证数据集输入至当前的预测模型,收集预测错误的少类样本;并当所述预测错误的少类样本大于预设值时,返回所述有效半径计算单元。
43、优选的,在本专利技术中,还包括:
44、后处理单元,用于收集预测错误的少类样本,构成错误预测集perr;对于每个少类样本xi∈perr,计算临近点集合np(xi),其中np(xi)是距离xi欧氏距离最近的k个数据点组成的数据集;在perr中移除临近点全是多类样本的少类数据点,得到错误过滤预测集pmerr。
45、在本专利技术实施例的另一面,还提供了一种不平衡数据的预测模型生成设备,包括:
46、存储器,用于存储计算机程序;
47、处理器,用于调用并执行所述计算机程序,以实现如上任一项所述的不平衡数据的预测模型生成方法的各个步骤。
48、在本专利技术实施例的另一面,还提供了一种存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,实现如上任一项所述的不平衡数据的预测模型生成方法的各个步骤。
49、所述不平衡数据的预测模型生成设备包括存储在介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,使所述计算机执行以上各个方面所述的方法,并实现相同的技术效果。
50、与现有技术相比,本专利技术具有如下有益效果:
51、本专利技术基于二分法的数据集空间分布度计算方法,来有效地表征不同类数据集的空间分布情况,然后再以空间分布度为权重修正因子,来对不同类的惩罚系数进行修正,进而得到改进型支持向量机分类算法;由于本专利技术考虑了数据点在空间的聚集和分散情况对分类结果的影响,因此获得了更好的分本文档来自技高网...
【技术保护点】
1.一种不平衡数据的预测模型生成方法,其特征在于,包括步骤:
2.根据权利要求1所述的不平衡数据的预测模型生成方法,其特征在于,还包括:
3.根据权利要求1或2所述的不平衡数据的预测模型生成方法,其特征在于,还包括数据后处理-去噪的步骤,包括:
4.根据权利要求1或2所述的不平衡数据的预测模型生成方法,其特征在于,所述分别计算每一类的数据集的超球面的有效半径,包括:
5.根据权利要求1所述的不平衡数据的预测模型生成方法,其特征在于,用于计算各类对应的空间分散度的公式包括:
6.根据权利要求5所述的不平衡数据的预测模型生成方法,其特征在于,所述在建立预测模型时,用所述空间分散度对支持向量机的惩罚因子进行修正,包括:
7.一种不平衡数据的预测模型生成装置,其特征在于,包括:
8.根据权利要求7所述的不平衡数据的预测模型生成装置,其特征在于,还包括:
9.根据权利要求7所述的不平衡数据的预测模型生成装置,其特征在于,还包括:
10.一种不平衡数据的预测模型生成设备,其特征在于,包
11.一种存储介质,其特征在于,包括软件程序,所述软件程序适于由处理器执行如权利要求1-7中任一所述不平衡数据的预测模型生成方法的步骤。
...【技术特征摘要】
1.一种不平衡数据的预测模型生成方法,其特征在于,包括步骤:
2.根据权利要求1所述的不平衡数据的预测模型生成方法,其特征在于,还包括:
3.根据权利要求1或2所述的不平衡数据的预测模型生成方法,其特征在于,还包括数据后处理-去噪的步骤,包括:
4.根据权利要求1或2所述的不平衡数据的预测模型生成方法,其特征在于,所述分别计算每一类的数据集的超球面的有效半径,包括:
5.根据权利要求1所述的不平衡数据的预测模型生成方法,其特征在于,用于计算各类对应的空间分散度的公式包括:
6.根据权利要求5所述的不平衡数据的...
【专利技术属性】
技术研发人员:花靖,蒋秀,于超,谷成林,逄铭玉,傅建斌,
申请(专利权)人:中国石油化工股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。