一种分类器链局部检测与挖掘算法制造技术

技术编号:16102528 阅读:48 留言:0更新日期:2017-08-29 22:50
本发明专利技术公开了一种分类器链局部检测与挖掘算法,它包括:利用局部学习算法对用于处理大数据流挖掘问题的分类器链进行优化,同时采用一种具有有限反馈的多用户多臂问题来模拟分类器链的学习问题;提出的算法是以一种协作并且分布式的方法进行学习,因此能够选择最佳的分类结构,实时学习分类器的效果;数据处理过程仅需要数据集的一条路径,这样使得处理延迟和处理器的内存需求最小化;此外,提出的算法不需要通过分布式分类器中央单元的学习问题进行运行协作,因此,降低了各分类器之间的交流需要;同时,提出的算法是根据综合任务的挖掘效果进行学习,而不是根据子任务效果进行学习,从而减少了大量反馈信息。

【技术实现步骤摘要】
一种分类器链局部检测与挖掘算法
本专利技术涉及一种局部学习算法领域,特别是一种分类器链局部检测与挖掘算法。
技术介绍
近年来,大数据已经在很多领域得到广泛应用,例如社会媒体分析,视频监控,网络安全监控等,这些都需要对原始数据流进行分析和处理获得实时的有价值的信息。现有处理资源有限的数据流挖掘问题的方法都是依赖负荷卸载,根据给定的数据特征决定舍弃的策略。由于舍弃的数据也会对下一个分类器起重要作用,因此,负荷卸载方法一般不能获得点对点的最佳效果。现有方法假设分类器的性能是已知的,并且需要分类器之间有效的信息交流,在实际应用中往往无法实现,同时这些方法不能进行分布式处理。
技术实现思路
有鉴于现有技术的上述缺陷,本专利技术的目的就是提供一种分类器链局部检测与挖掘算法,能够利用局部学习算法对用于处理大数据流挖掘问题的分类器链进行优化,能够选择最佳的分类结构,实时学习分类器的效果;数据处理过程仅需要数据集的一条路径,这样使得处理延迟和处理器的内存需求最小化。本专利技术的目的是通过这样的技术方案实现的,分类器链局部检测与挖掘算法,它包括有:在周期n内选择一个分类器a(n)对期望奖励E{r(n)}进行本文档来自技高网...
一种分类器链局部检测与挖掘算法

【技术保护点】
一种分类器链局部检测与挖掘算法,其特征在于:在周期n内选择一个分类器a(n)对期望奖励E{r(n)}进行最大化,设计的思路如下步骤:S1:每一个分类器m都在周期n内选择一个分类函数am(n)∈Fm,a(n)代表了周期n内的分类器链;S2:数据样例x(n)进入系统后,经过分类器链生成分类概念

【技术特征摘要】
1.一种分类器链局部检测与挖掘算法,其特征在于:在周期n内选择一个分类器a(n)对期望奖励E{r(n)}进行最大化,设计的思路如下步骤:S1:每一个分类器m都在周期n内选择一个分类函数am(n)∈Fm,a(n)代表了周期n内的分类器链;S2:数据样例x(n)进入系统后,经过分类器链生成分类概念最终的分类结果可以表示为S3:在周期结束时会显示根据真标签z(n)实现的总奖励r(n)和总成本d(n);S4:如果每个分类器的每个分类函数的精度和预期成本是已知的,则解决方案为:即在每一个时间周期都选择相同的分类器链对预期奖励进行最大化;其中,a*最佳分类器链。2.如权利要求1所述的分类器链局部检测与挖掘算法,其特征在于:设计所述算法前还包括有分类器链系统的构成设计,分类器链系统的构成设计步骤如下:1)一个包含了Μ={1,2,…,M}个分类器的分布式大数据挖掘系统,这些分类器以一种预先决定好的次序串联在一起,未经处理的数据流依次经过这些分类器,假设m+1号分类器串联在m号分类器之后;2)时间被分解为离散的周期,在每一个周期n内有一个数据样例x(n)进入系统;每一个数据样例都有一系列概念y(n)=(y1(n),…,yM(n)),其中,ym(n)∈Ym,(Ym为概念ym(n)的值域)m=1,…,M;这些概念是未知的,需要通过分类器进行挖掘;概念y1(n),…,yM(n)根据公式(1)共同决定了一个未知的实际真标签z(n)∈Z,Z为类别集合,σ为决定函数:σ:Y1×…×YM→Z.(2)3)分类器链系统是为了确定一个数据样例是否属于目标范畴,即ym(n)=em∈Ym,其中em为输入数据样例,然后其中,1(·)是一个指示函数,即分类器m∈M的任务是确保每一个概念ym(n)都对应一个分类结果记为整合所有分类器的分类结果记为然后生成标签的最终分类;4)每一个分类器m都要处理对应于概念m的分类问题,并维持一系列分类函数其中fm,n(n=1,2,3…Km)为分类函数,Km为分类器m的分类函数个数;假设对任意m,有Km=K,K为各个分类器统一设定的检测周期;在每一个时间周期n内,分类器m都要选择一个分类函数am(n)∈Fm对x(n)进行分类,因此,a(n)=(a1(n),...aM(n))代表了在时间周期n内选择的分类器链。3.如权利要求2所述的分类器链局部检测与挖掘算法,其特征在于:所述步骤S4中的所述精度、所述预期成本、所述预期奖励概念定义如下:S40:精...

【专利技术属性】
技术研发人员:李哲何国军周婧婧李俊杰徐婷婷宋忠友陈涛李杰宫林胡晓锐
申请(专利权)人:国网重庆市电力公司电力科学研究院国家电网公司
类型:发明
国别省市:重庆,50

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1