基于海量网络监测数据的大数据安全分析系统技术方案

本发明专利技术公开了一种基于海量网络监测数据的大数据安全分析系统，包括：数据流量监控模块，用于对数据流量实时监控，对应用分析，对各类系统流量数据进行无损采集并发送给其他模块；深度分组检测模块，用于通过深入重组、分析第七层分组的净荷内容，匹配业务特征，从而判断业务和应用类型，分析得到不同的应用类型；数据联合分析模块，用于对数据聚合然后再通过对状态及关联分析进行研究，进而去除原始数据中的冗余信息；异常检测模块，用于对数据分析检测并判断是否异常；安全评测模块，用于基于其余模块的分析和检测，综合网络态势，得到数据的评测结果。该系统能够实现网络数据的实时监控并且相应的进行数据安全分析，提高数据安全性和可靠性。

Large data security analysis system based on massive network monitoring data

The invention discloses a large data security analysis system based on massive network monitoring data, including: data flow monitoring module, used for real-time monitoring of data flow, application analysis, non lossless collection of all kinds of system flow data and sent to other modules; deep packet detection module, used for deep weight. Group, analyze the content of the seventh layer packets, match the business features, determine the business and application types, and analyze the different application types. The data joint analysis module is used for data aggregation and then through the study of the state and association analysis, and then the redundant information in the original data is removed; and the anomaly detection is detected. The module is used to detect and judge whether the data is abnormal. The security evaluation module is used for the analysis and detection of the other modules, and the network situation is integrated, and the evaluation results of the data are obtained. The system can realize real-time monitoring of network data and carry out data security analysis accordingly, so as to improve data security and reliability.

【技术实现步骤摘要】
基于海量网络监测数据的大数据安全分析系统
本专利技术涉及数据分析相关
，特别是指一种基于海量网络监测数据的大数据安全分析系统。
技术介绍
随着IT在各行各业的深入发展，以及IT技术自身的复杂化，IT技术趋向于结构上的分层化以及广泛使用分布式的部署，传统单一的网络运维方式越来越不能满足变化的IT技术、层出不穷的新型攻击手段。虚拟化云计算等技术也在原有的结构下，重新改变了IT部署的方式。而智能电网的广泛使用，使得电网中的数字信息量剧增，需要以一种新的可视化运维方式来解决新的IT运维挑战，保障用电网络的生产安全和能源科学研究的信息安全。安全数据的数量、速度、种类的迅速膨胀，导致的不仅仅是海量异构数据的融合、存储和管理的问题，甚至动摇了传统的安全分析体系和方法。当前绝大多数安全分析工具和方法都是针对普通数据量设计的，在面对海量数据时难以为继。面对大量的安全要素信息，我们需要更加迅捷地感知网络安全态势。传统的分析方法大都采用基于规则和特征的分析引擎，必须要有规则库和特征库才能工作，而规则和特征只能对已知的攻击和威胁进行描述，无法识别未知的攻击，或者是尚未被描述成规则的攻击和威胁。面对未知攻击和复杂攻击如APT等，需要更有效的分析方法和技术。我们需要更主动、更智能的分析方法。大数据安全分析平台加上可靠的数据采集样本，可以默认集成这样的已知攻击行为模式模型，来减少数据分析的工作。数据挖掘可以帮助完成一部分人的工作，特别是当分析平台可以自动化识别很多线索的时候，那么数据挖掘就可以根据线索的特定组合判定一个事件。通过这种工具式的分析平台可以极大的简化运维人员的数据分析工作，加上可靠的数据采集技术，可以实时准确的掌握电网的网络状态，充分保障智能用电网络的数据安全。
技术实现思路
有鉴于此，本专利技术的目的在于提出一种基于海量网络监测数据的大数据安全分析系统，能够实现网络数据的实时监控并且相应的进行数据安全分析，提高数据安全性和可靠性。基于上述目的本专利技术提供的一种基于海量网络监测数据的大数据安全分析系统，包括：数据流量监控模块，用于对网络中的数据流量进行实时监控，通过对不同系统应用的分析，对各类系统产生的海量实时流量数据进行全面无损采集并将监控数据发送给其他各个模块；深度分组检测模块，用于基于采集的数据通过深入重组、分析第七层分组的净荷内容，匹配业务特征，从而判断业务和应用类型，分析得到不同的应用类型；数据联合分析模块，用于通过对海量安全数据的聚合获取有效信息，然后再通过对状态及关联分析进行研究，进而去除原始数据中的冗余信息；异常检测模块，用于对采集数据进行分析检测，并判断是否存在异常；安全评测模块，用于基于其余模块的分析和检测，综合判断当前网络态势，进而得到网络数据的评测结果。可选的，所述数据类型包括机器数据，包括客户端、服务器、网络设备、安全设备、应用程序产生的日志以及采集的系统相关的时间序列事件数据，用于反映IT系统内在的真实状况；流量数据，为系统部分层网络通信协议的数据，用于进行深度包检测DPI、包头取样Netflow技术进行分析；代理数据，为应用的运行环境中插入代理程序，用于从字节码里统计函数调用、堆栈使用信息，从而进行代码级别的监控。可选的，所述数据流量监控模块还包括数据采集模块，用于针对不同的数据类型根据预设的数据采集方式进行数据的采集。可选的，所述深度分组检测模块还包括：净荷特征匹配模块，用于通过识别数据报文中的净荷特征来确定业务流所承载的应用；业务识别模块，用于识别控制流，并根据控制流协议分析识别出业务流的端口或对端网关地址等信息，然后对业务流进行解析，从而识别出相应的业务流；行为模式识别模块，用于根据用户已经实施的行为，判断用户正在进行的动作或者即将实施的动作。可选的，所述数据流量监控模块还包括数据采集系统模块，用于通过网络全流量安全分析系统、入侵检测系统、入侵防御系统及高级持续性威胁系统对原始网络流量进行实时数据采集。可选的，所述数据采集系统模块还采集威胁情报，从互联网上爬取威胁情报；依据杀伤链对威胁情报进行分析，对威胁情报进行载体利用和突防利用、攻击手法、威胁情报本土化所关心的行业领域、目标作业环境和偏好进行机器学习和分析；实时展现获取的威胁情报、APT攻击报告的数量、重大互联网泄密事件的数量、重大安全漏洞曝光事件的数量、恶意文件的数量、恶意IP的数量、恶意URL的数量、地图上动态显示所有威胁源或攻击源国家或地区、高亮显示个别国家的威胁情报情况、实时刷新威胁情报事件、对威胁源国家进行TOP排名展现。可选的，还包括运维监控模块、组织管理模块、系统管理模块；运维监控模块包括全局监控、前端状态、运维告警、告警配置；组织管理模块包括监控单位管理和前端设备管理模块；监控单位管理模块对客户单位进行管理；前端设备管理模块对前端设备进行信息维护；系统管理模块包括用户管理、角色管理、权限管理、菜单管理、安全审计、配置管理及数据字典。可选的，还包括所述态势感知展示系统模块，用于采用数据可视化工具库，实时、立体地对安全威胁态势进行综合展示，包括单位威胁态势、行业威胁态势、资产安全态势、威胁报告管理、运维监控、组织管理及系统管理。从上面所述可以看出，本专利技术提供的基于海量网络监测数据的大数据安全分析系统通过数据流量监控模块实现数据的实时监控并且相应的全面无损的采集得到准确的数据，通过深度分组检测模块准确分析得到相应的应用类型，通过数据联合分析模块，出去数据中的冗余信息，保证数据的准确有效，通过异常检测模块判定数据是否存在异常，通过安全评测实现数据的评测分析。因此，本申请所述基于海量网络监测数据的大数据安全分析系统，能够实现网络数据的实时监控并且相应的进行数据安全分析，提高数据安全性和可靠性。附图说明图1为本专利技术提供的基于海量网络监测数据的大数据安全分析系统的一个实施例的结构示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术进一步详细说明。需要说明的是，本专利技术实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本专利技术实施例的限定，后续实施例对此不再一一说明。目前大数据和数据挖掘的运维管理和安全分析在国内外均有研究案例，其中美国的爱因斯坦计划是比较成功的案例，其于2009年初正式更名为全面的国家网络安全行动(CNCI)，其职能和功能得到进一步的提升和强化。被美国一些媒体称为信息安全的曼哈顿计划。其方案包括如下几个方面：基于流的统计分析技术，2004年启动，通过分析网络的流量信息查找可能的恶意活动，采用政府网络出口路由器的netflow技术实现。基于特征的入侵检测系统。可以通过分析网络的流量信息来查找以发现非授权的访问和恶意的内容，这是通过对进出美国政府网络的流量自动进行全封包检查来实现的。当联邦网络流量中出现恶意或可能有害的活动时，爱因斯坦2能够向US-CERT提供实时报警，并对导出数据提供关联和可视化能力。基于威胁的决策系统。采用商业技术和专门为政府开发的技术来对进出行政机关网络的流量实施实时的全封包检查，目标是发现恶意的网络流量并对其进行特征化表示，以增强网络安全分析、态本文档来自技高网...

【技术保护点】
1.一种基于海量网络监测数据的大数据安全分析系统，其特征在于，包括：数据流量监控模块，用于对网络中的数据流量进行实时监控，通过对不同系统应用的分析，对各类系统产生的海量实时流量数据进行全面无损采集并将监控数据发送给其他各个模块；深度分组检测模块，用于基于采集的数据通过深入重组、分析第七层分组的净荷内容，匹配业务特征，从而判断业务和应用类型，分析得到不同的应用类型；数据联合分析模块，用于通过对海量安全数据的聚合获取有效信息，然后再通过对状态及关联分析进行研究，进而去除原始数据中的冗余信息；异常检测模块，用于对采集数据进行分析检测，并判断是否存在异常；安全评测模块，用于基于其余模块的分析和检测，综合判断当前网络态势，进而得到网络数据的评测结果。

【技术特征摘要】
1.一种基于海量网络监测数据的大数据安全分析系统，其特征在于，包括：数据流量监控模块，用于对网络中的数据流量进行实时监控，通过对不同系统应用的分析，对各类系统产生的海量实时流量数据进行全面无损采集并将监控数据发送给其他各个模块；深度分组检测模块，用于基于采集的数据通过深入重组、分析第七层分组的净荷内容，匹配业务特征，从而判断业务和应用类型，分析得到不同的应用类型；数据联合分析模块，用于通过对海量安全数据的聚合获取有效信息，然后再通过对状态及关联分析进行研究，进而去除原始数据中的冗余信息；异常检测模块，用于对采集数据进行分析检测，并判断是否存在异常；安全评测模块，用于基于其余模块的分析和检测，综合判断当前网络态势，进而得到网络数据的评测结果。2.根据权利要求1所述的系统，其特征在于，所述数据类型包括机器数据，包括客户端、服务器、网络设备、安全设备、应用程序产生的日志以及采集的系统相关的时间序列事件数据，用于反映IT系统内在的真实状况；流量数据，为系统部分层网络通信协议的数据，用于进行深度包检测DPI、包头取样Netflow技术进行分析；代理数据，为应用的运行环境中插入代理程序，用于从字节码里统计函数调用、堆栈使用信息，从而进行代码级别的监控。3.根据权利要求1所述的系统，其特征在于，所述数据流量监控模块还包括数据采集模块，用于针对不同的数据类型根据预设的数据采集方式进行数据的采集。4.根据权利要求1所述的系统，其特征在于，所述深度分组检测模块还包括：净荷特征匹配模块，用于通过识别数据报文中的净荷特征来确定业务流所承载的应用；业务识别模块，用于识别控制流，并根据控制流协议分析识别出业务流的端口或对端网关地址等信息，然后...

【专利技术属性】
技术研发人员：李春，郑磊，刘立明，王之一，郝成亮，颜佳，陈明，赵巍，王佳，刘超，李黎滨，孙伟，曹源，金泽洙，
申请(专利权)人：国网吉林省电力有限公司信息通信公司，国家电网公司，
类型：发明
国别省市：吉林,22