一种基于K-Means空间模型的跟踪式增量无监督概念漂移自适应方法技术

技术编号:42475435 阅读:31 留言:0更新日期:2024-08-21 12:58
本发明专利技术属于在线数据流环境下的概念漂移检测与自适应领域,公开了一种基于K‑Means空间模型的跟踪式增量无监督概念漂移自适应方法,该方法首先是利用训练数据训练预处理过程中涉及到的各种参数,并使用这些参数对数据进行预处理;再基于K‑Means空间模型,利用同类的内聚特性对低维数据实现无监督式的分类,并生成初始的概念集合;最后对于每一个到达的样本,基于距离判定阈值对其与每个概念的欧几里得距离进行条件判定,根据不同得到判定结果,对相应的概念采取不同的更新策略。该方法解决响应式概念漂移检测方法无法有效监测增量概念漂移发生的问题,增强概念集合模型构建的速度与质量,满足用户低时延、高精准的服务需求。

【技术实现步骤摘要】

本专利技术属于在线数据流环境下的概念漂移检测与自适应领域,具体的说是涉及一种基于k-means空间模型的跟踪式增量无监督概念漂移自适应方法。


技术介绍

1、在预测分析、数据科学、机器学习和相关领域,概念漂移是一种使数据模型失效的数据演变。当模型试图预测的目标变量的统计属性以不可预见的方式随时间变化时,就会出现概念漂移。这就造成了问题,因为随着时间的推移,预测会变得不那么准确。在机器学习中,数据模型的一个常见元素是统计属性,例如实际数据的概率分布。如果它们偏离了训练数据集的统计属性,那么如果不处理漂移,那么学习到的预测可能会失效。

2、在涉及动态变化数据和数据模型的领域中,概念漂移检测与自适应至关重要的。为了防止出现概念漂移进而导致预测精度下降的方法,通常可以被分成响应式解决方案和跟踪式解决方案。响应式解决方案根据触发机制对模型进行重新训练;跟踪解决方案通过增强学习不断更新模型来跟踪概念中的变化。

3、根据概念漂移的表现形式分类,概念漂移类型可以分为突然漂移、渐进漂移和增量漂移。现有的概念漂移与相关研究主要集中在响应式解决方案方面,此本文档来自技高网...

【技术保护点】

1.一种基于K-Means空间模型的跟踪式增量无监督概念漂移自适应方法,其特征在于:所述跟踪式增量无监督概念漂移自适应方法通过主成分分析、监督特征加权、初始概念模型生成、概念信息增量更新的相互协作,完成增量漂移的自适应过程,具体包括以下步骤:

2.根据权利要求1所述的一种基于K-Means空间模型的跟踪式增量无监督概念漂移自适应方法,其特征在于:所述步骤6对基于低维数据获得的分簇参照专家标签生成概念集合模型具体为:低维数据聚类训练完成后,数据样本集合被划分成k个分簇,使用簇与专家标签来计算每个概念的分类精度即每个簇中数据样本的两种分类相同的占比,当聚类分簇结果与专家标签正确匹...

【技术特征摘要】

1.一种基于k-means空间模型的跟踪式增量无监督概念漂移自适应方法,其特征在于:所述跟踪式增量无监督概念漂移自适应方法通过主成分分析、监督特征加权、初始概念模型生成、概念信息增量更新的相互协作,完成增量漂移的自适应过程,具体包括以下步骤:

2.根据权利要求1所述的一种基于k-means空间模型的跟踪式增量无监督概念漂移自适应方法,其特征在于:所述步骤6对基于低维数据获得的分簇参照专家标签生成概念集合模型具体为:低维数据聚类训练完成后,数据样本集合被划分成k个分簇,使用簇与专家标签来计算每个概念的分类精度即每个簇中数据样本的两种分类相同的占比,当聚类分簇结果与专家标签正确匹配程度大于95%,则概念划分合理。

3.根据权利要求1所述的一种基于k-means空间模型的跟踪式增量无监督概念漂移自适应方法,其特征在于:所述步骤4具体包括以下步骤:

4.根据权利...

【专利技术属性】
技术研发人员:王海艳张定胜骆健
申请(专利权)人:南京邮电大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1