【技术实现步骤摘要】
基于隔离算法的异常数据检测方法
[0001]本专利技术涉及数据处理
,尤其涉及基于隔离算法的异常数据检测方法。
技术介绍
[0002]在数据挖掘中,异常检测对不匹配预期模式或数据集中其他项目的项目、事件或观测值的识别,通常异常项目会转变成银行欺诈、结构缺陷、医疗问题、文本错误等类型的问题,异常也被称为离群值、新奇、噪声、偏差和例外,特别是在检测滥用与网络入侵时,有趣性对象往往不是罕见对象,但却是超出预料的突发活动,这种模式不遵循通常统计定义中把异常点看作是罕见对象,于是许多异常检测方法将对此类数据失效,除非进行了合适的聚集,相反,聚类分析算法可能可以检测出这些模式形成的微聚类;因此,专利技术出基于隔离算法的异常数据检测方法变得尤为重要;
[0003]经检索,中国专利号CN202110815076.X公开了数据异常检测方法,该专利技术虽然能够快速精准定位到数据异常,实现了对于业务核心指标的智能预警能力,但是需要人工设置参数以及人工建模,不方便用户对计算机中的异常数据进行检测;此外,现有的基于隔离算法的异常数据检测 ...
【技术保护点】
【技术特征摘要】
1.基于隔离算法的异常数据检测方法,其特征在于,该检测方法具体步骤如下:(1)收集并筛选数据:对计算机数据进行收集,并对收集的数据进行数据分类,同时分别生成数据黑名单以及数据白名单对数据进行记录,同时对两组名单数据进行实时更新;(2)构建学习神经网络以进行参数设置:将数据黑名单上的数据分为训练集和测试集,并通过训练样本对学习神经网络进行训练,再用测试样本对训练得到的学习神经网络进行数据验证,并获取最佳参数;(3)对数据进行数据隔离:参数设置完成后,构建隔离模型并将参数导入隔离模型中,同时将数据黑名单中的数据导入隔离模型中进行隔离检测,并将其中检测出的异常数据进行记录,同时构建风险管控数据库对相关软件进行监控;(4)对异常数据进行溯源处理并记录:依次对检测出的异常数据进行数据溯源,并对溯源结果进行判断分类,同时对分类完成的异常数据进行二次分析,并将分析结果反馈给用户;(5)修复异常数据并反馈用户:对风险指数高的异常数据进行数据修复处理,同时生成修复日志,并将修复日志上传至云端服务器进行存储,将修复信息上传至共享平台进行数据共享。2.根据权利要求1所述的基于隔离算法的异常数据检测方法,其特征在于,步骤(1)中所述数据分类具体步骤如下:步骤一:收集计算机中所有软件数据,并将其按照系统软件数据以及应用软件数据进行分类;步骤二:将系统软件数据录入数据白名单中,将应用软件数据录入数据黑名单中,同时将相关软件名称分别录入两组名单中;步骤三:将两组名单记录的软件名称按照名称首字母A~Z进行排序,同时将各组软件数据与相关软件名称进行关联。3.根据权利要求1所述的基于隔离算法的异常数据检测方法,其特征在于,步骤(2)中所述数据验证具体步骤如下:第一步:统计数据黑名单中的数据总量n,并从中中选择一个数据作为验证数据;第二步:用数据黑名单中剩余的数据拟合一个测试模型,并用最先被排除的那个验证数据来验证测试模型的精度;第三步:对测试模型的平均路径长度进行计算,其具体计算公式如下:其中,c(n)代表平均路径长度,H(n
‑
1)代表调和...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。