基于隔离算法的异常数据检测方法技术

本发明专利技术公开了基于隔离算法的异常数据检测方法，属于数据处理技术领域，该检测方法具体步骤如下：(1)收集并筛选数据；(2)构建学习神经网络以进行参数设置；(3)对数据进行数据隔离；(4)对异常数据进行溯源处理并记录；(5)修复异常数据并反馈用户；本发明专利技术无需人工设置参数且不需要人工建模，能够方便用户对计算机中的异常数据进行检测，提高用户异常处理效率，操作简单，能够快速对不符合许可规则的软件进行中断处理，有效的保证计算机的安全性，同时节省用户处理方案设计时间。同时节省用户处理方案设计时间。同时节省用户处理方案设计时间。

【技术实现步骤摘要】
基于隔离算法的异常数据检测方法


[0001]本专利技术涉及数据处理
，尤其涉及基于隔离算法的异常数据检测方法。

技术介绍

[0002]在数据挖掘中，异常检测对不匹配预期模式或数据集中其他项目的项目、事件或观测值的识别，通常异常项目会转变成银行欺诈、结构缺陷、医疗问题、文本错误等类型的问题，异常也被称为离群值、新奇、噪声、偏差和例外，特别是在检测滥用与网络入侵时，有趣性对象往往不是罕见对象，但却是超出预料的突发活动，这种模式不遵循通常统计定义中把异常点看作是罕见对象，于是许多异常检测方法将对此类数据失效，除非进行了合适的聚集，相反，聚类分析算法可能可以检测出这些模式形成的微聚类；因此，专利技术出基于隔离算法的异常数据检测方法变得尤为重要；
[0003]经检索，中国专利号CN202110815076.X公开了数据异常检测方法，该专利技术虽然能够快速精准定位到数据异常，实现了对于业务核心指标的智能预警能力，但是需要人工设置参数以及人工建模，不方便用户对计算机中的异常数据进行检测；此外，现有的基于隔离算法的异常数据检测方法违规软件处理效率慢，无法有效的保证计算机的安全性；为此，我们提出基于隔离算法的异常数据检测方法。

技术实现思路

[0004]本专利技术的目的是为了解决现有技术中存在的缺陷，而提出的基于隔离算法的异常数据检测方法。
[0005]为了实现上述目的，本专利技术采用了如下技术方案：
[0006]基于隔离算法的异常数据检测方法，该检测方法具体步骤如下：
[0007](1)收集并筛选数据：对计算机数据进行收集，并对收集的数据进行数据分类，同时分别生成数据黑名单以及数据白名单对数据进行记录，同时对两组名单数据进行实时更新；
[0008](2)构建学习神经网络以进行参数设置：将数据黑名单上的数据分为训练集和测试集，并通过训练样本对学习神经网络进行训练，再用测试样本对训练得到的学习神经网络进行数据验证，并获取最佳参数；
[0009](3)对数据进行数据隔离：参数设置完成后，构建隔离模型并将参数导入隔离模型中，同时将数据黑名单中的数据导入隔离模型中进行隔离检测，并将其中检测出的异常数据进行记录，同时构建风险管控数据库对相关软件进行监控；
[0010](4)对异常数据进行溯源处理并记录：依次对检测出的异常数据进行数据溯源，并对溯源结果进行判断分类，同时对分类完成的异常数据进行二次分析，并将分析结果反馈给用户；
[0011](5)修复异常数据并反馈用户：对风险指数高的异常数据进行数据修复处理，同时生成修复日志，并将修复日志上传至云端服务器进行存储，将修复信息上传至共享平台进
行数据共享。
[0012]作为本专利技术的进一步方案，步骤(1)中所述数据分类具体步骤如下：
[0013]步骤一：收集计算机中所有软件数据，并将其按照系统软件数据以及应用软件数据进行分类；
[0014]步骤二：将系统软件数据录入数据白名单中，将应用软件数据录入数据黑名单中，同时将相关软件名称分别录入两组名单中；
[0015]步骤三：将两组名单记录的软件名称按照名称首字母A～Z进行排序，同时将各组软件数据与相关软件名称进行关联。
[0016]作为本专利技术的进一步方案，步骤(2)中所述数据验证具体步骤如下：
[0017]第一步：统计数据黑名单中的数据总量n，并从中中选择一个数据作为验证数据；
[0018]第二步：用数据黑名单中剩余的数据拟合一个测试模型，并用最先被排除的那个验证数据来验证测试模型的精度；
[0019]第三步：对测试模型的平均路径长度进行计算，其具体计算公式如下：
[0020][0021]其中，c(n)代表平均路径长度，H(n
‑
1)代表调和数，n代表数据黑名单中的数据总量。
[0022]作为本专利技术的进一步方案，步骤(3)中所述隔离检测具体步骤如下：
[0023]S1.1：隔离模型随机选择一个属性A，并随机选择该属性的一个值V；
[0024]S1.2：根据属性A对每组数据进行分类，并递归的构建隔离树，同时分别构建MAX表以及MIN表；
[0025]S1.3：当A＜V的软件数据录入MIN表中，当A≥C的软件数据录入MAX表中；
[0026]S1.4：对分类完成的数据进行预测，并对预测结果进行归一化处理，其具体计算公式如下：
[0027][0028]其中，s(x,n)代表数据x在由n个数据构成的隔离树的异常指数，h(x)代表用来标准化数据x的路径长度，E(h(x))代表数据x在一批孤立树中的路径长度的期望；
[0029]S1.5：当E(h(x))
→
c(n)时，s
→
0.5，即数据x的路径平均长度与树的平均路径长度相近时，则不能区分是不是异常；当E(h(x))
→
0时，s
→
1，即x的异常分数接近1时，则判定为异常数据；当E(h(x))
→
n
‑
1时，s
→
0，则判定为正常数据。
[0030]作为本专利技术的进一步方案，步骤(4)中所述判断分类具体步骤如下：
[0031]S2.1：依据数据黑名单对异常数据对应的软件进行提取，并构建反馈名单记录各组软件名称；
[0032]S2.2：收集软件许可规则，并构建规则判断库，同时将反馈名单中的软件导入构建规则判断库中，将不符合许可规则的软件强制停止运行，并将各组软件运行状态录入数据黑名单中。
[0033]作为本专利技术的进一步方案，步骤(5)中所述修复处理具体步骤如下：
[0034]S3.1：与方案共享平台通信连接，并提取相应处理方案，同时将提取出的处理方案
反馈给用户；
[0035]S3.2：用户选择处理方案，计算机依据用户选择的处理方案对异常数据进行修复，并生成修复日志记录修复时间以及数据信息。
[0036]相比于现有技术，本专利技术的有益效果在于：
[0037]1、该基于隔离算法的异常数据检测方法，计算机自行统计数据黑名单中的数据总量，并从中中选择一个数据作为验证数据后，用数据黑名单中剩余的数据拟合一个测试模型，并用最先被排除的那个验证数据来验证测试模型的精度，同时对测试模型的平均路径长度进行计算，构建隔离模型随机选取一个属性以及值，根据属性对每组数据进行分类，并递归的构建隔离树，并通过隔离算法对各组数据进行异常判断，无需人工设置参数且不需要人工建模，能够方便用户对计算机中的异常数据进行检测，提高用户异常处理效率，操作简单；
[0038]2、该基于隔离算法的异常数据检测方法，计算机依据数据黑名单对异常数据对应的软件进行提取，并构建反馈名单记录各组软件名称，同时收集软件许可规则，并构建规则判断库，同时将反馈名单中的软件导入构建规则判断库中，将不符合许可规则的软件强制停止运行，同时抓取相应异常数据处理方案并由用户进行选择，依据用户选择的方案对异本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于隔离算法的异常数据检测方法，其特征在于，该检测方法具体步骤如下：(1)收集并筛选数据：对计算机数据进行收集，并对收集的数据进行数据分类，同时分别生成数据黑名单以及数据白名单对数据进行记录，同时对两组名单数据进行实时更新；(2)构建学习神经网络以进行参数设置：将数据黑名单上的数据分为训练集和测试集，并通过训练样本对学习神经网络进行训练，再用测试样本对训练得到的学习神经网络进行数据验证，并获取最佳参数；(3)对数据进行数据隔离：参数设置完成后，构建隔离模型并将参数导入隔离模型中，同时将数据黑名单中的数据导入隔离模型中进行隔离检测，并将其中检测出的异常数据进行记录，同时构建风险管控数据库对相关软件进行监控；(4)对异常数据进行溯源处理并记录：依次对检测出的异常数据进行数据溯源，并对溯源结果进行判断分类，同时对分类完成的异常数据进行二次分析，并将分析结果反馈给用户；(5)修复异常数据并反馈用户：对风险指数高的异常数据进行数据修复处理，同时生成修复日志，并将修复日志上传至云端服务器进行存储，将修复信息上传至共享平台进行数据共享。2.根据权利要求1所述的基于隔离算法的异常数据检测方法，其特征在于，步骤(1)中所述数据分类具体步骤如下：步骤一：收集计算机中所有软件数据，并将其按照系统软件数据以及应用软件数据进行分类；步骤二：将系统软件数据录入数据白名单中，将应用软件数据录入数据黑名单中，同时将相关软件名称分别录入两组名单中；步骤三：将两组名单记录的软件名称按照名称首字母A～Z进行排序，同时将各组软件数据与相关软件名称进行关联。3.根据权利要求1所述的基于隔离算法的异常数据检测方法，其特征在于，步骤(2)中所述数据验证具体步骤如下：第一步：统计数据黑名单中的数据总量n，并从中中选择一个数据作为验证数据；第二步：用数据黑名单中剩余的数据拟合一个测试模型，并用最先被排除的那个验证数据来验证测试模型的精度；第三步：对测试模型的平均路径长度进行计算，其具体计算公式如下：其中，c(n)代表平均路径长度，H(n
‑
1)代表调和...

【专利技术属性】
技术研发人员：宋思楠，蔡江辉，杨海峰，
申请(专利权)人：太原科技大学，
类型：发明
国别省市：