结合多因子分析技术和MapReduce技术的海量数据简化及处理系统技术方案

本发明专利技术涉及一种结合多因子分析技术和MapReduce技术的海量数据简化及处理系统，包括一个或数个数据采集及预处理模块、处理节点调度模块、数据处理模块、数据结果汇总模块；其中，处理节点调度模块通过有线或无线的方式分别与数据采集及预处理模块、数据处理模块连接，同时，数据处理模块通过有线或无线的方式还与数据结果汇总模块连接，本发明专利技术利用多因子分析技术对海量工业网络数据进行简化，MapReduce技术进行分布式处理，两者相结合以达到对海量数据的高效处理，及时快速的反应网络当前状态及进行威胁预判。

Massive data simplification and processing system based on multi factor analysis and MapReduce Technology

The invention relates to a system of massive data analysis and simplified processing technology and MapReduce technology combined with multi factors, including one or a plurality of data acquisition and processing module, a processing node scheduling module, data processing module, data collection module; wherein, the processing nodes scheduling module through wired or wireless mode and data acquisition and the pretreatment module, data processing module is connected, at the same time, the data processing module is connected with a data collection module through wired or wireless mode, the invention uses multi factor analysis technology of massive industry network data is simplified, MapReduce technology for distributed processing, a combination of both to achieve the efficient processing of massive data, in a timely manner the current state of rapid response network and threat anticipation.

【技术实现步骤摘要】
结合多因子分析技术和MapReduce技术的海量数据简化及处理系统
本专利技术涉及一种工业网络态势感知中的数据分析系统。
技术介绍
随着工业化与信息化进程的不断交叉融合，越来越多的信息技术应用到了工业领域。管理信息网络与生产控制网络之间实现了数据交换，导致工业控制系统不再是一个独立运行的系统，而已经与管理系统甚至互联网互联互通。工业控制系统中大量使用了工业以太网和专用通信协议进行工业控制系统的集成。大规模使用的pc服务器、pc终端产品、通用操作系统和数据库，使得传统网络上常见的安全问题已经在工业控制网络中出现。
技术实现思路
为了及时感知工业网络中的变化，预判可能产生的网络威胁，针对大量工业数据进行快速准确及时的数据分析必不可少。本专利技术针对上述问题进行了下述的技术改进：实现上述目的的技术方案如下：结合多因子分析技术和MapReduce技术的海量数据简化及处理系统包括：一个或数个数据采集及预处理模块、处理节点调度模块、数据处理模块、数据结果汇总模块；其中，处理节点调度模块通过有线或无线的方式分别与数据采集及预处理模块、数据处理模块连接，同时，数据处理模块通过有线或无线的方式还与数据结果本文档来自技高网...

【技术保护点】
结合多因子分析技术和MapReduce技术的海量数据简化及处理系统，其特征在于：包括一个或数个数据采集及预处理模块、处理节点调度模块、数据处理模块、数据结果汇总模块；其中，处理节点调度模块通过有线或无线的方式分别与数据采集及预处理模块、数据处理模块连接，同时，数据处理模块通过有线或无线的方式还与数据结果汇总模块连接；其中，数据采集及预处理模块采集当前工业网络数据，并对采集的数据进行关键特征抽取的预处理工作，形成预处理数据；其中，预处理数据被汇总到处理节点调度模块，处理节点调度模块将预处理数据分配给一个或数个数据处理模块；其中，数据处理模块通过多因子分析技术对处理节点调度模块分配的预处理数据进行...

【技术特征摘要】
1.结合多因子分析技术和MapReduce技术的海量数据简化及处理系统，其特征在于：包括一个或数个数据采集及预处理模块、处理节点调度模块、数据处理模块、数据结果汇总模块；其中，处理节点调度模块通过有线或无线的方式分别与数据采集及预处理模块、数据处理模块连接，同时，数据处理模块通过有线或无线的方式还与数据结果汇总模块连接；其中，数据采集及预处理模块采集当前工业网络数据，并对采集的数据进行关键特征抽取的预处理工作，形成预处理数据；其中，预处理数据被汇总到处理节点调度模块，处理节点调度模块将预处理数据分配给一个或数个数据处理模块；其中，数据处理模块通过多因子分析技术对处理节点调度模块分配...

【专利技术属性】
技术研发人员：杨磊，
申请(专利权)人：北京安点科技有限责任公司，
类型：发明
国别省市：北京,11