一种数据流决策树分类中的缺失值处理方法技术

技术编号:10405234 阅读:370 留言:0更新日期:2014-09-10 14:19
本发明专利技术属于数据流挖掘技术领域,具体涉及一种数据流决策树分类中的缺失值处理方法,首先读取数据流中的数据样本,并更新滑动窗口。当检测到当前数据样本中的属性存在缺失值时,若该属性对应的缺失处理器已存在,则对缺失处理器进行更新,否则根据数据特点自适应选择并建立缺失处理器。然后,使用缺失处理器补充数据样本中的缺失值,得到完整的数据样本,并依据Hoeffding决策树分类方法训练完整的数据样本,最后返回数据流决策树分类结果。与现有方法相比,本发明专利技术方法具有更优的时间性能,并充分保证决策树模型的分类准确率,从而降低时间开销,提升时间性能,提高数据流的分类处理速度,从而满足实际数据流处理的应用。

【技术实现步骤摘要】
【专利摘要】本专利技术属于数据流挖掘
,具体涉及,首先读取数据流中的数据样本,并更新滑动窗口。当检测到当前数据样本中的属性存在缺失值时,若该属性对应的缺失处理器已存在,则对缺失处理器进行更新,否则根据数据特点自适应选择并建立缺失处理器。然后,使用缺失处理器补充数据样本中的缺失值,得到完整的数据样本,并依据Hoeffding决策树分类方法训练完整的数据样本,最后返回数据流决策树分类结果。与现有方法相比,本专利技术方法具有更优的时间性能,并充分保证决策树模型的分类准确率,从而降低时间开销,提升时间性能,提高数据流的分类处理速度,从而满足实际数据流处理的应用。【专利说明】
本专利技术属于数据流挖掘
,具体涉及一种数据流决策树分类中的缺失值处理方法
技术介绍
随着大数据时代的到来,应用系统高速且连续不断地产生数据流,如何从数据流中挖掘出有用信息,已成为技术人员关心的热点。数据流决策树分类技术是数据流挖掘中的重要研究方向,该技术能够应用到网络入侵检测和信用卡欺诈等很多方面。实际中的数据流会因网络传输故障、传感器失灵或人工操作失误等原因出现缺失值。在数据流决策树分类本文档来自技高网...

【技术保护点】
一种数据流决策树分类中的缺失值处理方法,其特征在实现步骤如下:步骤1:读取数据流中的数据样本,并使用固定容量的滑动窗口W保存最新到达的数据样本;步骤2:当前数据样本中的属性Xi存在缺失值时,建立或更新属性Xi对应的缺失处理器,若属性Xi的缺失处理器已存在,则跳至步骤4更新缺失处理器,否则进入步骤3建立缺失处理器;步骤3:计算滑动窗口W中同类样本关于属性Xi的标准差σ(Xi),若σ(Xi)不超过阈值σm,则选择使用众数或平均值代替缺失值,否则建立子分类器来预测缺失值,根据此方法建立缺失处理器并跳至步骤5;步骤4:计算缺失处理器的加权总错误率E,若E超过阈值β,则选择权重最大且错误率ei>β*的缺...

【技术特征摘要】

【专利技术属性】
技术研发人员:吕品侯旭珊
申请(专利权)人:中国科学院软件研究所
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1