【技术实现步骤摘要】
一种基于噪声阈值距离度量的离群点检测方法
本专利技术属于数据挖掘
，具体涉及一种基于噪声阈值距离度量的离群点检测方法。
技术介绍
离群点检测在数据挖掘领域发挥着重大作用，可以广泛应用到各个领域。例如，将离群点检测技术应用到医学数据中，可以检测出发生异常的数据从而可以判断出一条医学数据是否正常。离群点检测的方法可以按照不同的分类标准进行分类。根据对离群点与其余数据做出的假定，可以把离群点检测方法分为统计学方法，基于邻近性的方法和基于聚类的方法。基于邻近性的方法，即KNearestNeighbors(KNN)假定一个对象是离群点，如果它最近邻的点离它较远，显著偏离其他数据点和它们的最近邻。该方法能较好的发现基于距离的离群点，但是对于包含密度不同的簇的数据集的检测效果不是很好。为了解决这个问题，Breunig等人在2000年提出了一种基于局部离群因子的算法LOF(LocalOutlierFactor),该方法能够较好的检测基于密度的离群点。为了检测高维数据中的离群点，有研究提出了基于角度的离群点检测方法ABOD(An...
【技术保护点】
1.一种基于噪声阈值距离度量的离群点检测方法，其特征在于，通过计算医学数据的最小生成树结构，进行聚类，从而实现检测出医学数据中的异常数据，具体方法为：首先设置一个迷你MST的数据结构，先用prim算法计算出一个精确的最小生成树，然后对最小生成树中的边的权重，即边的起点和终点之间的欧式距离，按照从小到大的顺序进行排序存放到边数组sorted_mst中，计算出所有边的权重的平均值和标准方差，将两者之和作为噪声阈值noise_th；由于最短边是密度最大的簇中的边，选择最短边的起点P作为迷你MST计算的起点加入迷你MST中，从P开始计算没有加入树中的点到树中点的距离，除以噪声阈值n...
【技术特征摘要】
1.一种基于噪声阈值距离度量的离群点检测方法，其特征在于，通过计算医学数据的最小生成树结构，进行聚类，从而实现检测出医学数据中的异常数据，具体方法为：首先设置一个迷你MST的数据结构，先用prim算法计算出一个精确的最小生成树，然后对最小生成树中的边的权重，即边的起点和终点之间的欧式距离，按照从小到大的顺序进行排序存放到边数组sorted_mst中，计算出所有边的权重的平均值和标准方差，将两者之和作为噪声阈值noise_th；由于最短边是密度最大的簇中的边，选择最短边的起点P作为迷你MST计算的起点加入迷你MST中，从P开始计算没有加入树中的点到树中点的距离，除以噪声阈值noise_th作为边的权重；
根据计算出的边的权重，选择最短的边和对应的端点加入到迷你MST中，每次加完一个点及对应的边后，计算已经加入MST中的边的平均值和标准方差之和，作为判断一个簇是否形成的阈值，若新加入的边的权重不满足阈值条件，则说明将要加入的点属于当前簇，将该边加入当前的MST中，继续当前簇的计算；若满足阈值条件，则说明形成一个簇，退出当前簇的计算，再从sorted_mst中下一条边开始新的簇的计算，先判断该边的权重是否大于噪声阈值，若大于，则说明剩下的点为噪声或离群点，退出循环，完成数据集的分类；若不大于，则说明是正常的簇，循环从sorted_mst中选下一条边计算新的簇，直到满足退出循环的条件结束计算。
2.根据权利要求1所述的一种基于噪声阈值距离度量的离群点检测方法，其特征在于，具体包括以下步骤：
步骤1：用Prim算法计算一个精确的最小生成树，记为emst，最小生成树中的每一条边，用一个三元组表示，包含边的起点、终点和权值；
步骤2：对emst中的所有边按照从小到大的顺序进行排序，存入数组sorted_mst；
步骤3：计算emst中所有边的权重的平均值和标准方差，将两者之和作为噪声阈值noise_th；
步骤4：初始化两个数组node_unfinished和node_finished；node_unfinished表示原始的医学数据集中没有加入树中的点，node_finished表示医学数据集中已经加入树中的点；
步骤5：初始化一个迷你MST，选择步骤2中的sorted_mst的最短边的起点P作为起始点加入迷你MST中，同时将P加入node_finished中；
步骤6：计算没有加入树中的点到树中点的距离，除以步骤3中的噪声阈值noise_th作为边的权重，将树中的点，不在树中的点，和对应的边的权重作...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。