一种适用于大数据的采集分析系统技术方案

本发明专利技术公开了一种适用于大数据的采集分析系统，其特征是，包括服务器、主控制器和终端节点；所述主控制器通过网络分别与服务器和终端节点相连接；每个所述终端节点包括依次连接的采集模块、处理模块、分析模块、评估模块和存储模块；所述采集模块用于根据事先设定的采集方法对数据进行采集整合；所述处理模块用于将采集模块所采集整合后的信息进行有效信息提取，并形成数据流；所述分析模块用于将数据流中的数据进行分析。本发明专利技术所达到的有益效果：本系统将大数据的采集分配到各个节点上，将大数据的处理化为小节点的处理，不仅能够缓解大数据整体处理的效率低以及难度大的问题，还能够使得在处理大数据的时候能够更加全面的到位的进行分析整合。

A Data Acquisition and Analysis System for Large Data

The invention discloses a data acquisition and analysis system suitable for large data, which is characterized by including a server, a master controller and a terminal node; the master controller is connected with a server and a terminal node respectively through a network; each terminal node includes a sequentially connected acquisition module, a processing module, an analysis module, an evaluation module and a storage module; the acquisition module is used for the acquisition module. According to the pre-set acquisition method, the data are collected and integrated; the processing module is used to extract the effective information collected and integrated by the acquisition module, and to form a data stream; the analysis module is used to analyze the data in the data stream. The beneficial effect of the invention is that the system distributes the collection of large data to each node and transforms the processing of large data into the processing of small nodes, which can not only alleviate the inefficiency and difficulty of the overall processing of large data, but also make the analysis and integration more comprehensive when processing large data.

【技术实现步骤摘要】
一种适用于大数据的采集分析系统
本专利技术涉及一种适用于大数据的采集分析系统，属于大数据处理

技术介绍
随着大数据的来临，很多行业都非常需要对大数据进行全方位的处理。而目前，在现有技术中对于大数据的分析处理由于要求很高，信息量巨大，处理起来很难以非常全面到位。
技术实现思路
为解决现有技术的不足，本专利技术的目的在于提供一种适用于大数据的采集分析系统，能够解决目前大数据采集分析效率不高的问题。为了实现上述目标，本专利技术采用如下的技术方案：一种适用于大数据的采集分析系统，其特征是，包括服务器、主控制器和终端节点；所述主控制器通过网络分别与服务器和终端节点相连接；所述终端节点设置有若干个；每个所述终端节点包括依次连接的采集模块、处理模块、分析模块、评估模块和存储模块；所述采集模块用于根据事先设定的采集方法对数据进行采集整合；所述处理模块用于将采集模块所采集整合后的信息进行有效信息提取，并形成数据流；所述分析模块用于将数据流中的数据进行分析；所述评估模块用于对数据进行评估，对数据形成分级；所述存储模块用于将评估模块处理后的数据进行存储，并通过网络进行传输。前述的一种适用于大数据的采集分析系统，其特征是，所述服务器采用三层结模式B/S构架服务器。3.根据权利要求1所述的一种适用于大数据的采集分析系统，其特征是，所述服务器中包括有数据库，所述数据库分为第一数据库，第二数据库和备份数据库；所述第一数据库用于存储当前以及往前一段时间内的数据；所述第二数据库用于存储历史数据；所述备份数据库用于备份所有的数据。前述的一种适用于大数据的采集分析系统，其特征是，每个所述终端节点还匹配有人机交互界面和人机操作模块。前述的一种适用于大数据的采集分析系统，其特征是，所述分析模块在进行分析前，对数据进行数据分类。前述的一种适用于大数据的采集分析系统，其特征是，所述数据分类采用图形绘制方法。本专利技术所达到的有益效果：本系统将大数据的采集分配到各个节点上，将大数据的处理化为小节点的处理，不仅能够缓解大数据整体处理的效率低以及难度大的问题，还能够使得在处理大数据的时候能够更加全面的到位的进行分析整合。具体实施方式下面对本专利技术作进一步描述。以下实施例仅用于更加清楚地说明本专利技术的技术方案，而不能以此来限制本专利技术的保护范围。本专利技术涉及的一种适用于大数据的采集分析系统，包括服务器、主控制器和终端节点。主控制器通过网络分别与服务器和终端节点相连接。终端节点设置有若干个。每个终端节点包括依次连接的采集模块、处理模块、分析模块、评估模块和存储模块。采集模块用于根据事先设定的采集方法对数据进行采集整合。处理模块用于将采集模块所采集整合后的信息进行有效信息提取，并形成数据流。分析模块用于将数据流中的数据进行分析。评估模块用于对数据进行评估，对数据形成分级。存储模块用于将评估模块处理后的数据进行存储，并通过网络进行传输。服务器采用三层结模式B/S构架服务器。服务器中包括有数据库，所述数据库分为第一数据库，第二数据库和备份数据库；所述第一数据库用于存储当前以及往前一段时间内的数据；所述第二数据库用于存储历史数据；所述备份数据库用于备份所有的数据。每个所述终端节点还匹配有人机交互界面和人机操作模块，以便于提高整体的灵活性。分析模块在进行分析前，对数据进行数据分类。数据分类采用图形绘制方法。以上所述仅是本专利技术的优选实施方式，应当指出，对于本
的普通技术人员来说，在不脱离本专利技术技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本专利技术的保护范围。本文档来自技高网...

【技术保护点】
1.一种适用于大数据的采集分析系统，其特征是，包括服务器、主控制器和终端节点；所述主控制器通过网络分别与服务器和终端节点相连接；所述终端节点设置有若干个；每个所述终端节点包括依次连接的采集模块、处理模块、分析模块、评估模块和存储模块；所述采集模块用于根据事先设定的采集方法对数据进行采集整合；所述处理模块用于将采集模块所采集整合后的信息进行有效信息提取，并形成数据流；所述分析模块用于将数据流中的数据进行分析；所述评估模块用于对数据进行评估，对数据形成分级；所述存储模块用于将评估模块处理后的数据进行存储，并通过网络进行传输。

【技术特征摘要】
1.一种适用于大数据的采集分析系统，其特征是，包括服务器、主控制器和终端节点；所述主控制器通过网络分别与服务器和终端节点相连接；所述终端节点设置有若干个；每个所述终端节点包括依次连接的采集模块、处理模块、分析模块、评估模块和存储模块；所述采集模块用于根据事先设定的采集方法对数据进行采集整合；所述处理模块用于将采集模块所采集整合后的信息进行有效信息提取，并形成数据流；所述分析模块用于将数据流中的数据进行分析；所述评估模块用于对数据进行评估，对数据形成分级；所述存储模块用于将评估模块处理后的数据进行存储，并通过网络进行传输。2.根据权利要求1所述的一种适用于大数据的采集分析系统，其特征是，所述服务器采用三层...

【专利技术属性】
技术研发人员：高树，陈瑞坤，
申请(专利权)人：南京唯实科技有限公司，
类型：发明
国别省市：江苏,32