一种大数据采集分析系统技术方案

本发明专利技术公开了一种大数据采集分析系统，包括远程服务器、主控制器和各终端节点，各终端节点包括各个控制终端以及目标数据采集终端，各个目标数据采集终端之间通过连接无线传输模块以自组网的方式与主控制器连接起来，形成一个有效的内部网络；目标数据采集终端将采集到的数据经内部网络以无线的方式传输至主控制器，主控制器作为内部网络与处于互联网中远程服务器的连接枢纽，在经一定的分析处理后，将这些数据经互联网发送至远程服务器，并将部分采集到的有用信息显示到主控制器的显示屏上。本发明专利技术将系统分成若干个控制终端和目标数据采集终端节点，从而实现了数据的分开加载；系统自带的数据处理功能，提高了分析的精确度，实现了数据的仿真分析。

A large data acquisition and analysis system

The invention discloses a data acquisition and analysis system, including a remote server, the main controller and the terminal nodes, the terminal nodes including the control terminal and the target data acquisition terminal, each target data acquisition terminal connected through wireless transmission module in ad hoc manner with the main controller connected to form an effective internal network; target data acquisition terminal of data collected by the internal network wirelessly transmitted to the main controller, the main controller is connected with the internal network hub in the remote server in the Internet, in the certain analysis, these data will be sent to the remote server through the Internet, and some useful information collected according to the main controller display. The system is divided into a plurality of data acquisition terminal node control terminal and the target data, so as to realize the separate loading data; system has data processing function, improve the precision of the analysis, the analysis of the simulation data.

【技术实现步骤摘要】
一种大数据采集分析系统
本专利技术涉及大数据处理领域，具体涉及一种大数据采集分析系统。
技术介绍
随着海量数据，大数据时代的来临，商业应用要面对大数据的处理能力的要求越来越高。针对于大数据的分析处理，目前多采用分布式存储技术及分布式计算技术。对于当前流行的分析型的商业应用程序，都有自身分析的技术及模型，需要把数据收集到自身的程序中再进行针对的分析技术。但当面对大数据分析时，当前的很多商业应用程序如果同时加载大数据到应用程序所在的服务器上，会造成超负载致使程序崩溃，同时现有的数据分析系统无法进行数据的仿真模拟分析，从而导致数据分析结果较为片面。
技术实现思路
为解决上述问题，本专利技术提供了一种大数据采集分析系统，将系统分成若干个控制终端和目标数据采集终端节点，从而实现了数据的分开加载；系统自带的数据处理功能，完成数据的处理和审核，在实现数据库实时更新的同时，避免了数据的重复、冲突；实现了数据的可追溯性，基于Flac3D的数值模拟计算不同数据所对应的模型，提高了分析的精确度，实现了数据的仿真分析。为实现上述目的，本专利技术采取的技术方案为：一种大数据采集分析系统，包括远程服务器、主控制器和本文档来自技高网...

【技术保护点】
一种大数据采集分析系统，其特征在于，包括远程服务器、主控制器和各终端节点，各终端节点包括各个控制终端以及目标数据采集终端，各个目标数据采集终端之间通过连接无线传输模块以自组网的方式与主控制器连接起来，形成一个有效的内部网络；目标数据采集终端将采集到的数据经内部网络以无线的方式传输至主控制器，主控制器作为内部网络与处于互联网中远程服务器的连接枢纽，在经一定的分析处理后，将这些数据经互联网发送至远程服务器，并将部分采集到的有用信息显示到主控制器的显示屏上；主控制器在接收目标数据采集终端节点发来信息的同时也接收来自于远程服务器以及人机交互界面的指令，经系统网关的相关协议转换和处理后发送给各个目标数据...

【技术特征摘要】
1.一种大数据采集分析系统，其特征在于，包括远程服务器、主控制器和各终端节点，各终端节点包括各个控制终端以及目标数据采集终端，各个目标数据采集终端之间通过连接无线传输模块以自组网的方式与主控制器连接起来，形成一个有效的内部网络；目标数据采集终端将采集到的数据经内部网络以无线的方式传输至主控制器，主控制器作为内部网络与处于互联网中远程服务器的连接枢纽，在经一定的分析处理后，将这些数据经互联网发送至远程服务器，并将部分采集到的有用信息显示到主控制器的显示屏上；主控制器在接收目标数据采集终端节点发来信息的同时也接收来自于远程服务器以及人机交互界面的指令，经系统网关的相关协议转换和处理后发送给各个目标数据采集终端节点和控制终端，实现对监测范围内目标数据的采集设备状态的修改；远程服务器将接收到的来自不同账号的数据存储到数据库中，形成一个缜密有序的控制链；所述主控制器内设有数据挖掘模块，用于根据预设的算法从接收到的数据信息中挖掘主要信息，并将挖掘到的数据发送到数据分析模块；数据分析模块，用于根据人机操作模块输入的分析要求选取对应的分析算法对完成处理后的数据进行统计分析，并将统计分析后的结果发送到显示屏进行显示；中央处理器，用于将接收人机操作模块所输入的数据，并将其转换成物理模型建立模块所能识别的数据发送到物理模型建立模块；用于接收人机操作模块以及远程服务器输入的控制命令并按照预设的算法将这些命令发送到指定的模块；物理模型建立模块，用于接收人机操作模块发送的数据，并根据接收到的数据以及中央处理器发送的控制命令通过Flac3D建立数据物理模型；虚拟作动器，用于驱动参数变化的，与物理模型建立模块中的各元素建立关系后，可以在指定的范围内对参数进行变动，从而可以驱动分析方法针对不同的参数进行计算求解；虚拟参数模块，用于在数据物理模型中插入各类型的可直接获取相应的结果或信息的目标的逻辑单元；仿真分析模块，用于输入可以分解为设计变量、设计目标和设计约束的参数、算法，并将输入参数、算法划分为单元、特性和载荷，分别作用到指定的模块上；所述虚拟作动器通过循环执行仿真分析模块输入的参数或算法将结果反馈给仿真分析模块，所述仿真分析模块自动提取数据给虚拟参数模块，所述虚拟参数模块自动显示数据；专家评估模块，用于储存各类典型的数据以及其对应的评估结果，用于将接收到的数据与所存储的数据进行类似度对比，并将比对结果按照相似度进行升序或降序排序后，发送给显示屏；内设一网络爬虫进程，用于在网络中查找与所的数据相关的网页或文档，并将查询结果发送到显示屏。2.如权利要求1所述的一种大数据采集分析系统，其特征在于，所述数据分析模块包括图形绘制模块，用于绘制并监测根据所述监测数据得出的各种曲线图；回归计算模块，用于通过不同函数对实测数据曲线进行回归计算；预测分析模块，用于预设的算法对所监测到的数据发展情况进行预测评估。3.如权利要求1所述的一种大数据采集分析系统，其特征在于，所述远程服务器包括应用服务器与数据库服务器；所述...

【专利技术属性】
技术研发人员：王宁，陈明明，曾涛，赵铁刚，陈育智，周海波，蔡志猛，陈开亮，
申请(专利权)人：厦门华厦学院，
类型：发明
国别省市：福建,35