一种提升异常数据挖掘筛选的方法技术

本发明专利技术公开一种提升异常数据挖掘筛选的方法，应用于数据分析领域，针对现有技术在在动态增加的数据环境中实现起来很困难的问题；本发明专利技术首先采用传统的聚类算法对数据集进行聚类，获得初始的聚类簇与异常数据集；对于新增的数据对象计算它和这些簇核心对象的距离，然后计算最小距离所在的簇，加入最小距离小于给定的半径r，则将该新增的数据对象并入该簇中，如果新增的数据队形没有并入到任何初始簇中，则将该数据加入异常数据集中；通过本发明专利技术的方法不必再次调用原算法对整个数据集进行重新的聚类，大大的节省了计算时间。

A method to improve the filtering of abnormal data mining

【技术实现步骤摘要】
一种提升异常数据挖掘筛选的方法
本专利技术属于数据分析领域，可广泛应用于经融、教育、科研、电商等行业，例如教学考评数据、综合素质评测数据、效益评估数据、产品定向推送分析数据等，特别涉及数据聚类、数据挖掘、数据异常分析、局部偏离度量等技术。
技术介绍
信息技术不断发展的阶段，各类数据统计决策对数据质量的要求越来越高。要提高数据质量就得有好的数据处理方法，由于系统各种误差带来劣质数据不可避免，一方面是有效数据，另一方面是劣质数据。在这种情况下，更应该考虑如何找出这样的劣质数据并加以剔除，才能提高数据的质量并得到准确的分析的结果基于此就提出了异常数据挖掘的概念，异常数据挖掘处理是异常数据筛选领域一个重要的部分，通常一个数据集中异常数据被认为是与其他数据有着明显差异的数据。在越来越多的应用领域中异常数据的挖掘筛选有着非凡的意义随着数据挖掘领域的不断扩展，在对异常数据的不断研究中发现了不少有价值的东西，近些年来异常数据挖掘成了热门的话题，也陆续出现了不少异常数据挖掘的方法，如分步法、聚类法、距离法、密度法等基于局部偏离因子(LocalOu本文档来自技高网...

【技术保护点】
1.一种提升异常数据挖掘筛选的方法，其特征在于，包括：/nA1、从业务数据库中获取数据集，所述数据集包括若干数据对象；/nA2、采用传统的聚类算法，对步骤A1所获取的数据集进行聚类，得到初始化的簇与初始化的异常数据集；/nA3、获取当前输入的新的数据对象与步骤A2所述各簇的核心对象的距离最小值；/nA4、若步骤A3所计算的到的距离最小值小于设定的半径，则将输入的新的数据对象并入对应簇；否则输入的新的数据对象加入异常数据集。/n

【技术特征摘要】
1.一种提升异常数据挖掘筛选的方法，其特征在于，包括：
A1、从业务数据库中获取数据集，所述数据集包括若干数据对象；
A2、采用传统的聚类算法，对步骤A1所获取的数据集进行聚类，得到初始化的簇与初始化的异常数据集；
A3、获取当前输入的新的数据对象与步骤A2所述各簇的核心对象的距离最小值；
A4、若步骤A3所计算的到的距离最小值小于设定的半径，则将输入的新的数据对象并入对应簇；否则输入的新的数据对象加入异常数据集。


2.根据权利要求1所述的一种提升异常数据挖掘筛选的方法，其特征在于，步骤A2具体过程为：
A21、对于数据集中未被访问的数据对象，且该数据对象未被归入某个簇或被标记为异常数据，检查其r邻域，如果其r邻域内包含的数据对象数目大于或等于Mindn，则建立新簇C，并将该数据对象及邻域内包含的数据对象并入C中；
所述r为设定的半径；
A22、如果C中存在未被处理的数据对象，检查其r邻域，如果其r邻域内包含...

【专利技术属性】
技术研发人员：唐雪飞，张青龙，徐鑫，孙文昌，胡茂秋，
申请(专利权)人：成都康赛信息技术有限公司，
类型：发明
国别省市：四川;51