网络安全分析系统技术方案

网络安全分析系统，包括用户网络安全监控模块、数据智能采集模块、大数据智能分析模块、网络安全事件评估模块和危险预警模块，所述用户网络安全监控模块用于收集网络安全设备中的网络数据，所述数据智能采集模块用于采集所述网络数据，并将所述网络数据发送至大数据智能分析模块进行分布式存储和处理，并对处理后的网络数据进行分析找出异常信息，所述网络安全事件评估模块用于根据所述异常信息对网络安全事件的风险进行评估，当评估的网络安全存在危险时即令危险预警模块进行预警。本发明专利技术提供一种网络安全分析系统，利用分布式的大数据处理模式能够有效的对获取的网络数据进行处理和分析，具有较高的处理效率和数据可靠性。

Network Security Analysis System

【技术实现步骤摘要】
网络安全分析系统
本专利技术创造涉及网络安全领域，具体涉及一种网络安全分析系统。
技术介绍
随着互联网的创新发展与普及应用，维护与保障网络安全的重要性愈发突显，而现阶段网络信息数据存有量不断增长且速度加快的特点，对目前的网络安全分析工作提出了更高的要求，而大数据技术作为一种新型技术，在网络安全分析工作中得到了广泛应用。大数据技术的广泛应用，为网络安全分析与防御提供了新动力，成为网络安全分析系统构建中不可或缺的存在。
技术实现思路
针对上述问题，本专利技术旨在提供一种网络安全分析系统。本专利技术创造的目的通过以下技术方案实现：网络安全分析系统，包括用户网络安全监控模块、数据智能采集模块、大数据智能分析模块、网络安全事件评估模块和危险预警模块，所述用户网络安全监控模块用于监控用户端的网络安全设备，收集网络安全设备中的网络数据，所述数据智能采集模块用于采集用户网络安全监控模块收集的网络数据，并将所述网络数据发送至大数据智能分析模块，所述大数据智能分析模块用于对接收到的网络数据进行分布式存储和处理，并对处理后的网络数据进行分析，找出异常信息，所述网络安全事件评估模块用于根据所述异常信息对网络安全事件的风险进行评估，当评估的网络安全存在危险时即令危险预警模块进行预警；所述大数据智能分析模块包括大数据筛选单元、大数据处理单元和大数据分析单元，所述大数据筛选单元用于对接收到的网络信息进行筛选处理，过滤掉其中的离散数据，具体包括：（1）选取部分正常的网络数据作为训练数据，采用长度为的滑动窗口将所述训练数据截取为多个长度为的样本集合，记为，其中，为截取的长度为的样本集合，为截取的样本集合数；（2）设为待检测数据，采用长度为的滑动窗口截取前个数据和待检测数据组成待检测数据集合，则，从所述样本集合中选取待检测数据集合的个最近邻，组成待检测数据集合的最近邻集合，则，定义待检测数据集合对应的离散因子为，则的计算公式为：式中，为最近邻的数量，为窗口长度，为数据集合的最近邻集合，且；（3）当待检测数据对应的离散因子时，则判定待检测数据为离散数据，即过滤掉数据；其中，为离散数据判断阈值，则离散数据判断阈值的计算公式为：式中，为样本集合对应的离散因子，为样本集合数,为调节参数；所述大数据处理单元用于对筛选后的网络数据进行分布式存储和处理，所述大数据分析单元用于根据处理后的网络数据对网络安全进行分析。优选地，所述危险预警模块包括蜂鸣器和指示灯。优选地，所述大数据处理单元采用MapReduce数据处理框架对存储在HDFS中的网络数据进行处理，在处理过程中，对各个节点上的任务运行情况进行监控，当发现存在运行较慢任务时，即在其他节点上复制该任务的拷贝重新运行。优选地，对各个节点上的任务运行进度进行监控，根据监控所得的节点中任务运行的进度信息预测任务的完成时间，当预测的任务完成时间满足下列条件时，则判定该节点中的任务为运行较慢任务，式中，表示已完成任务的平均完成时间，为调节参数，且，表示对节点中任务的预测完成时间，则计算公式为：式中，表示已经花费的时间，表示在时刻节点中任务运行的进度值，表示在时刻节点中任务运行的进度值，为权重系数，且，表示节点中当前任务阶段中已完成的进度，表示节点中任务的阶段权重，当节点中运行的任务为Map任务时，在Map任务的map阶段，令，，在Map任务的sort阶段，令，（其中，和分别为map任务的map阶段和sort阶段对应的时间权重）；当节点中运行的任务为Reduce任务时，在Reduce任务的copy阶段，令，，在Reduce的sort阶段，令，，在Reduce任务的reduce阶段，令，（其中，、和分别为Reduce任务的copy阶段、sort阶段和reduce阶段对应的时间权重）；表示在时刻节点中任务运行的速度，则的计算公式为：式中，表示在时刻节点中任务运行的进度值，表示在时刻节点中任务运行的进度值，表示在时刻节点中任务运行的速度，表示权重系数，且。优选地，对检测到的运行较慢任务，选择具有最大性能值的节点对该较慢任务进行任务备份，式中，表示节点的性能值，表示节点中当前任务运行的速度，表示当前任务运行的平均速度，表示节点上的最大任务数，表示节点上当前的任务数，表示权重系数，取值为大于0小于1的随机数；定义选取的具有最大性能值的节点为节点上的较慢任务进行数据备份的代价函数为，当代价函数的值大于0时，即在该选取的节点上进行任务备份，否则放弃备份，其中，的表达式为：式中，表示节点中当前任务运行的速度，表示节点中当前任务运行的速度，表示在时刻节点中任务运行的进度。本专利技术创造的有益效果：提供一种网络安全分析系统，利用分布式的大数据处理模式能够有效的对获取的网络数据进行处理和分析，具有较高的处理效率和数据可靠性，从而能够提高网络安全分析系统的可靠性。附图说明利用附图对专利技术创造作进一步说明，但附图中的实施例不构成对本专利技术创造的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。图1是本专利技术结构示意图；图2是本专利技术大数据智能分析模块结构示意图。具体实施方式结合以下实施例对本专利技术作进一步描述。参见图1和图2，本实施例的一种网络安全分析系统，包括用户网络安全监控模块1、数据智能采集模块2、大数据智能分析模块3、网络安全事件评估模块4和危险预警模块5，所述用户网络安全监控模块1用于监控用户端的网络安全设备，收集网络安全设备中的网络数据，所述数据智能采集模块2用于采集用户网络安全监控模块收集的网络数据，并将所述网络数据发送至大数据智能分析模块3，所述大数据智能分析模块3用于对接收到的网络数据进行分布式存储和处理，并对处理后的网络数据进行分析找出异常信息，所述网络安全事件评估模块4用于根据所述异常信息对网络安全事件的风险进行评估，当评估的网络安全存在危险时即令危险预警模块5进行预警；所述大数据智能分析模块3包括大数据筛选单元31、大数据处理单元32和大数据分析单元33，所述大数据筛选单元31用于对接收到的网络数据进行筛选处理，过滤掉其中的离散数据，具体包括：（1）选取部分正常的网络数据作为训练数据，采用长度为的滑动窗口将所述训练数据截取为多个长度为的样本集合，记为，其中，为截取的长度为的样本集合，为截取的样本集合数；（2）设为待检测数据，采用长度为的滑动窗口截取前个数据和待检测数据组成待检测数据集合，则，从所述样本集合中选取待检测数据集合的个最近邻，组成待检测数据集合的最近邻集合，则，定义待检测数据集合对应的离散因子为，则的计算公式为：式中，为最近邻的数量，为窗口长度，为数据集合的最近邻集合，且；（3）当待检测数据对应的离散因子时，则判定待检测数据为离散数据，即过滤掉数据；其中，为离散数据判断阈值，则离散数据判断阈值的计算公式为：式中，为样本集合对应的离散因子，为样本集合数,为调节参数；所述大数据处理单元32用于对筛选后的网络数据进行分布式存储和处理，所述大数据分析单元33用于根据处理后的网络数据对网络安全进行分析。优选地，所述危险预警模块5包括蜂鸣器和指示灯。本优选实施例提供一种网络安全分析系统，利用分布式的大数据处理模式能够有效的对获取的网络数据进行处理和分析，具有较高的处理效率和数据可靠性本文档来自技高网...

【技术保护点】
1.网络安全分析系统，其特征是，包括用户网络安全监控模块、数据智能采集模块、大数据智能分析模块、网络安全事件评估模块和危险预警模块，所述用户网络安全监控模块用于监控用户端的网络安全设备，收集网络安全设备中的网络数据，所述数据智能采集模块用于采集用户网络安全监控模块收集的网络数据，并将所述网络数据发送至大数据智能分析模块，所述大数据智能分析模块用于对接收到的网络数据进行分布式存储和处理，并对处理后的网络数据进行分析，找出异常信息，所述网络安全事件评估模块用于根据所述异常信息对网络安全事件的风险进行评估，当评估的网络安全存在危险时即令危险预警模块进行预警；所述大数据智能分析模块包括大数据筛选单元、大数据处理单元和大数据分析单元，所述大数据筛选单元用于对接收到的网络数据进行筛选处理，过滤掉其中的离散数据，具体包括：（1）选取部分正常的网络数据作为训练数据，采用长度为

【技术特征摘要】
1.网络安全分析系统，其特征是，包括用户网络安全监控模块、数据智能采集模块、大数据智能分析模块、网络安全事件评估模块和危险预警模块，所述用户网络安全监控模块用于监控用户端的网络安全设备，收集网络安全设备中的网络数据，所述数据智能采集模块用于采集用户网络安全监控模块收集的网络数据，并将所述网络数据发送至大数据智能分析模块，所述大数据智能分析模块用于对接收到的网络数据进行分布式存储和处理，并对处理后的网络数据进行分析，找出异常信息，所述网络安全事件评估模块用于根据所述异常信息对网络安全事件的风险进行评估，当评估的网络安全存在危险时即令危险预警模块进行预警；所述大数据智能分析模块包括大数据筛选单元、大数据处理单元和大数据分析单元，所述大数据筛选单元用于对接收到的网络数据进行筛选处理，过滤掉其中的离散数据，具体包括：（1）选取部分正常的网络数据作为训练数据，采用长度为的滑动窗口将所述训练数据截取为多个长度为的样本集合，记为，其中，为截取的长度为的样本集合，为截取的样本集合数；（2）设为待检测数据，采用长度为的滑动窗口截取前个数据和待检测数据组成待检测数据集合，则，从所述样本集合中选取待检测数据集合的个最近邻，组成待检测数据集合的最近邻集合，则，定义待检测数据集合对应的离散因子为，则的计算公式为：式中，为最近邻的数量，为窗口长度，为数据集合的最近邻集合，且；（3）当待检测数据对应的离散因子时，则判定待检测数据为离散数据，即过滤掉数据；其中，为离散数据判断阈值，则离散数据判断阈值的计算公式为：式中，为样本集合对应的离散因子，为样本集合数,为调节参数；所述大数据处理单元用于对筛选后的网络数据进行分布式存储和处理，所述大数据分析单元用于根据处理后的网络数据对网络安全进行分析；所述大数据处理单元采用MapReduce数据处理框架对存储在HDFS中的网络数据进行处理，在处理过程中，对各个节点上的任务运行情况进行监控，当发现存在运行较慢任务时，即在其他节点上复制该任务的拷贝重新运行，...

【专利技术属性】
技术研发人员：孙志永，
申请(专利权)人：南昌诺汇医药科技有限公司，
类型：发明
国别省市：江西,36