本发明专利技术公开了一种基于异构流程的异常检测方法与系统，属于数据检测技术领域，该检测方法具体步骤如下：(1)收集各流程传输数据并进行分类记录；(2)对各数据进行异常检测并进行阻隔查杀；(3)构建黑白名单集并进行测试拦截；(4)工作人员查看并调整黑白名单；(5)将拦截数据反馈给工作人员进行查看；本发明专利技术能够对重复数据进行筛除，降低阻隔分析模块的信道占用，提高其数据分析效率，避免数据重复次数过多导致的系统崩溃，保证系统检测稳定性，能够对阻隔分析模块的运行性能进行实时评估，同时输出相关曲线图，简化管理人员分析步骤，能够更加直观地让管理人员查看并分析系统运行效率，方便管理人员使用，提高使用体验。提高使用体验。提高使用体验。
【技术实现步骤摘要】
一种基于异构流程的异常检测方法与系统
[0001]本专利技术涉及数据检测
，尤其涉及一种基于异构流程的异常检测方法与系统。
技术介绍
[0002]异构系统架构上进行并行运算的异构计算技术从上世纪80年代产生，是并行以及分布计算领域里的热点之一，现如今常见的计算单元有很多，例如CPU、GPU、协处理器、DSP、ASIC以及FPGA，而科研人员通过异构系统架构实现了数据分别在不同的业务逻辑中存储和维护，从而使相同意义的数据存在表现的异构，异构数据往往不是一个层面的异构，而是在多个层面上都存在异构，其整合的目标就在于实现不同结构的数据之间的数据信息资源、硬件设备资源和人力资源的合并和共享。其中关键的一点就是以分散的局部的数据为基础，通过各种工具和处理逻辑建立全局的统一的数据或视图，解决了和厂商协调难、接口费用高、实施周期长等问题；
[0003]现有的基于异构流程的异常检测方法与系统容易对某一数据进行重复检测，降低数据分析效率，容易导致系统崩溃；此外，现有的基于异构流程的异常检测方法与系统无法直观地让管理人员查看并分析系统运行效率，不方便管理人员使用，分析步骤繁杂；为此，我们提出一种基于异构流程的异常检测方法与系统。
技术实现思路
[0004]本专利技术的目的是为了解决现有技术中存在的缺陷，而提出的一种基于异构流程的异常检测方法与系统。
[0005]为了实现上述目的，本专利技术采用了如下技术方案：
[0006]一种基于异构流程的异常检测方法，该检测方法具体步骤如下：
[0007](1)收集各流程传输数据并进行分类记录；
[0008](2)对各数据进行异常检测并进行阻隔查杀；
[0009](3)构建黑白名单集并进行测试拦截；
[0010](4)工作人员查看并调整黑白名单；
[0011](5)将拦截数据反馈给工作人员进行查看。
[0012]作为本专利技术的进一步方案，步骤(1)中所述分类记录具体步骤如下：
[0013]步骤一：主服务器采集各终端设备在异构流程中传输的各组数据，同时对各数据按照结构化数据、半结构化数据以及非结构化数据进行分类；
[0014]步骤二：同时收集各组终端设备IP地址，并对各IP地址所属地进行确认，之后按照三组数据类型生成相对应的三组信息记录表，并将各数据记录至相对应的信息记录表中，并将相关IP地址以及IP地址所属地录入对应信息记录表。
[0015]作为本专利技术的进一步方案，步骤一中所述终端设备具体包括智能手机、平板电脑、笔记本电脑以及大型机。
[0016]作为本专利技术的进一步方案，步骤(2)中所述异常检测具体步骤如下：
[0017]第一步：阻隔分析模块接收信息记录表，并与病毒数据库以及云端虚拟机通信连接，之后阻隔分析模块对各组数据进行进行数据解析，并提取各组解析信息中的特征代码；
[0018]第二步：将各组特征代码与病毒数据库中各网络病毒特征代码进行对比，若存在某一部分特征代码相同，则对该传输数据进行阻隔查杀处理，同时生成异常排查表对相关数据、IP地址以及IP地址所属地进行记录；
[0019]第三步：若不存在相同的特征代码，阻隔分析模块则将各组数据上传至云端虚拟机，之后云端虚拟机对各组数据进行传染模拟，并根据网络病毒定义而确立的传染标准进行病毒分析，并对存在病毒的数据进行阻隔查杀，并将相关数据、IP地址以及IP地址所属地录入异常排查表中。
[0020]作为本专利技术的进一步方案，步骤(3)中所述测试拦截具体步骤如下：
[0021]S1：辅助检测模块依据阻隔分析模块的阻隔信息生成相关黑白名单集，之后构建模拟分析模型，并将黑白名单集导入模拟分析模型中，并由管理平台下发测试数据至模拟分析模型中进行测试；
[0022]S2：从N组测试结果中选择一个观测数据，并用该测试数据来验证测试模型的精度，并通过均方根误差对该测试模型的分析能力进行计算，如此重复n次，之后对对生成的精度参数进行参数优化处理；
[0023]S3：初始化参数范围，并选择规定范围内的学习率，再列出所有可能的数据结果，对于每一组数据，选取任意一个子集作为测试集，其余子集作为训练集，训练模型后对测试集进行预测，统计测试结果的均方根误差；
[0024]S4：求取最优参数组合，同时将测试集更换为另一子集，再取剩余子集作为训练集，再次统计均方根误差，直至对所有数据都进行一次预测，通过选取均方根误差最小时对应的组合参数即为数据区间内最优的参数，并依据生成的最优参数对辅助检测模块进行参数更新。
[0025]作为本专利技术的进一步方案，S2中所述均方根误差具体计算公式如下：
[0026][0027]其中，E(y
i
)表示第i个实际观测值，y
i
为模型反演出的第i个预测值，n是观测样本总数。
[0028]一种基于异构流程的异常检测系统，包括终端设备、管理平台、阻隔分析模块、辅助检测模块、评估分析模块、优化更新模块、云端虚拟机、病毒数据库以及主服务器；
[0029]其中，所述终端设备用于工作人员与主服务器进行数据交互；
[0030]所述管理平台用于接收各子模块发送的数据，并以图像化的形式反馈给管理人员查看；
[0031]所述阻隔分析模块用于对异构流程中的各组传输数据进行检测阻隔；
[0032]所述辅助检测模块用于依据阻隔分析模块检测结果构建黑白名单集，并对异构流程中的各组传输数据进行辅助分析；
[0033]所述评估分析模块用于接收阻隔分析模块运行信息，并对其进行性能评估；
[0034]所述优化更新模块用于对辅助检测模块进行参数优化；
[0035]所述云端虚拟机用于接收阻隔分析模块发送的数据，并进行传染模拟；
[0036]所述病毒数据库用于存储各病毒数据特征代码；
[0037]所述主服务器用于接收并存储各子模块发送的数据，同时对各设备之间的传输数据进行抓取。
[0038]作为本专利技术的进一步方案，所述评估分析模块性能评估具体步骤如下：
[0039]P1：评估分析模块设置检测样本标签，标签设置为当前样本所对应的阻隔分析模块运行信息的归一化值，之后将各组检测样本分为训练集和测试集，并对训练集进行标准化处理；
[0040]P2：将训练样本输送到GRU网络模型中，设置模型具体参数，采用长期迭代法训练该GRU网络模型，并将测试集输入到训练好的模型中，生成阻隔分析模块检测曲线，之后计算阻隔分析模块运行损失值，并依据计算出的运行损失值进行准确率、检出率和误报率评估，同时生成相对应的曲线图。
[0041]相比于现有技术，本专利技术的有益效果在于：
[0042]1、该基于异构流程的异常检测方法相较于以往检测方法，本专利技术通过阻隔分析模块对各组数据进行阻隔查杀，并由辅助检测模块依据阻隔分析模块的阻隔信息生成相关黑白名单集，并对该阻隔分析模块进行拦截测试，之后选择一个测试结果来验证测试模型的精度，并通过均本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于异构流程的异常检测方法，其特征在于，该检测方法具体步骤如下：(1)收集各流程传输数据并进行分类记录；(2)对各数据进行异常检测并进行阻隔查杀；(3)构建黑白名单集并进行测试拦截；(4)工作人员查看并调整黑白名单；(5)将拦截数据反馈给工作人员进行查看。2.根据权利要求1所述的一种基于异构流程的异常检测方法，其特征在于，步骤(1)中所述分类记录具体步骤如下：步骤一：主服务器采集各终端设备在异构流程中传输的各组数据，同时对各数据按照结构化数据、半结构化数据以及非结构化数据进行分类；步骤二：同时收集各组终端设备IP地址，并对各IP地址所属地进行确认，之后按照三组数据类型生成相对应的三组信息记录表，并将各数据记录至相对应的信息记录表中，并将相关IP地址以及IP地址所属地录入对应信息记录表。3.根据权利要求2所述的一种基于异构流程的异常检测方法，其特征在于，步骤一中所述终端设备具体包括智能手机、平板电脑、笔记本电脑以及大型机。4.根据权利要求2所述的一种基于异构流程的异常检测方法，其特征在于，步骤(2)中所述异常检测具体步骤如下：第一步：阻隔分析模块接收信息记录表，并与病毒数据库以及云端虚拟机通信连接，之后阻隔分析模块对各组数据进行进行数据解析，并提取各组解析信息中的特征代码；第二步：将各组特征代码与病毒数据库中各网络病毒特征代码进行对比，若存在某一部分特征代码相同，则对该传输数据进行阻隔查杀处理，同时生成异常排查表对相关数据、IP地址以及IP地址所属地进行记录；第三步：若不存在相同的特征代码，阻隔分析模块则将各组数据上传至云端虚拟机，之后云端虚拟机对各组数据进行传染模拟，并根据网络病毒定义而确立的传染标准进行病毒分析，并对存在病毒的数据进行阻隔查杀，并将相关数据、IP地址以及IP地址所属地录入异常排查表中。5.根据权利要求4所述的一种基于异构流程的异常检测方法，其特征在于，步骤(3)中所述测试拦截具体步骤如下：S1：辅助检测模块依据阻隔分析模块的阻隔信息生成相关黑白名单集，之后构建模拟分析模型，并将黑白名单集导入模拟分析模型中，并由管理平台下发测试数据至模拟分析模型中进行测试；S2：从N组测试结果中选择一个观测数据，并用该测试数据来验证测试模型的精度，并通过均方根误差对该测试模型的分析能力进行计算，如此重复n次，之后对对生成的精度参数...
【专利技术属性】
技术研发人员：索强，于天宇，刘璐瑶，汪智鹏，潘彦，
申请(专利权)人：上海望繁信科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。