基于隔离算法的异常数据检测方法技术

技术编号:33133037 阅读:47 留言:0更新日期:2022-04-17 00:53
本发明专利技术公开了基于隔离算法的异常数据检测方法,属于数据处理技术领域,该检测方法具体步骤如下:(1)收集并筛选数据;(2)构建学习神经网络以进行参数设置;(3)对数据进行数据隔离;(4)对异常数据进行溯源处理并记录;(5)修复异常数据并反馈用户;本发明专利技术无需人工设置参数且不需要人工建模,能够方便用户对计算机中的异常数据进行检测,提高用户异常处理效率,操作简单,能够快速对不符合许可规则的软件进行中断处理,有效的保证计算机的安全性,同时节省用户处理方案设计时间。同时节省用户处理方案设计时间。同时节省用户处理方案设计时间。

【技术实现步骤摘要】
基于隔离算法的异常数据检测方法


[0001]本专利技术涉及数据处理
,尤其涉及基于隔离算法的异常数据检测方法。

技术介绍

[0002]在数据挖掘中,异常检测对不匹配预期模式或数据集中其他项目的项目、事件或观测值的识别,通常异常项目会转变成银行欺诈、结构缺陷、医疗问题、文本错误等类型的问题,异常也被称为离群值、新奇、噪声、偏差和例外,特别是在检测滥用与网络入侵时,有趣性对象往往不是罕见对象,但却是超出预料的突发活动,这种模式不遵循通常统计定义中把异常点看作是罕见对象,于是许多异常检测方法将对此类数据失效,除非进行了合适的聚集,相反,聚类分析算法可能可以检测出这些模式形成的微聚类;因此,专利技术出基于隔离算法的异常数据检测方法变得尤为重要;
[0003]经检索,中国专利号CN202110815076.X公开了数据异常检测方法,该专利技术虽然能够快速精准定位到数据异常,实现了对于业务核心指标的智能预警能力,但是需要人工设置参数以及人工建模,不方便用户对计算机中的异常数据进行检测;此外,现有的基于隔离算法的异常数据检测方法违规软件处理效率本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于隔离算法的异常数据检测方法,其特征在于,该检测方法具体步骤如下:(1)收集并筛选数据:对计算机数据进行收集,并对收集的数据进行数据分类,同时分别生成数据黑名单以及数据白名单对数据进行记录,同时对两组名单数据进行实时更新;(2)构建学习神经网络以进行参数设置:将数据黑名单上的数据分为训练集和测试集,并通过训练样本对学习神经网络进行训练,再用测试样本对训练得到的学习神经网络进行数据验证,并获取最佳参数;(3)对数据进行数据隔离:参数设置完成后,构建隔离模型并将参数导入隔离模型中,同时将数据黑名单中的数据导入隔离模型中进行隔离检测,并将其中检测出的异常数据进行记录,同时构建风险管控数据库对相关软件进行监控;(4)对异常数据进行溯源处理并记录:依次对检测出的异常数据进行数据溯源,并对溯源结果进行判断分类,同时对分类完成的异常数据进行二次分析,并将分析结果反馈给用户;(5)修复异常数据并反馈用户:对风险指数高的异常数据进行数据修复处理,同时生成修复日志,并将修复日志上传至云端服务器进行存储,将修复信息上传至共享平台进行数据共享。2.根据权利要求1所述的基于隔离算法的异常数据检测方法,其特征在于,步骤(1)中所述数据分类具体步骤如下:步骤一:收集计算机中所有软件数据,并将其按照系统软件数据以及应用软件数据进行分类;步骤二:将系统软件数据录入数据白名单中,将应用软件数据录入数据黑名单中,同时将相关软件名称分别录入两组名单中;步骤三:将两组名单记录的软件名称按照名称首字母A~Z进行排序,同时将各组软件数据与相关软件名称进行关联。3.根据权利要求1所述的基于隔离算法的异常数据检测方法,其特征在于,步骤(2)中所述数据验证具体步骤如下:第一步:统计数据黑名单中的数据总量n,并从中中选择一个数据作为验证数据;第二步:用数据黑名单中剩余的数据拟合一个测试模型,并用最先被排除的那个验证数据来验证测试模型的精度;第三步:对测试模型的平均路径长度进行计算,其具体计算公式如下:其中,c(n)代表平均路径长度,H(n

1)代表调和...

【专利技术属性】
技术研发人员:宋思楠蔡江辉杨海峰
申请(专利权)人:太原科技大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1