一种大数据分析系统技术方案

本发明专利技术涉及一种大数据分析系统，可以利用多种数据采集方式采集数据，并将采集到的数据经过加密处理形成加密数据信号，通过数据传输模块将加密数据信号传输至数据存储模块，加密后的数据信号由数据存储模块传输至数据分析服务器，在数据分析服务器中，首先通过数据解密模块，将加密后的数据信号进行解密处理，解密后的数据信号通过数据检测模块、数据标记模块、数据分类模块和数据分析模块依次进行检测、标记、分类和分析后，得到数据分析结果。通过评价模块对数据分析模块得到的数据分析结果进行评价，最后通过校正模块对不合格的数据分析结果进行偏差校正，提高大数据分析系统的准确性。

【技术实现步骤摘要】
一种大数据分析系统
本专利技术涉及数据分析
，具体说是一种大数据分析系统。
技术介绍
随着信息化的高速发展，大数据应运而生，大数据技术，指的是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。数据多样化的形成主要有两方面的原因：一是数据来源多，有搜索引擎、社交网络、通话记录、传感器等等；二是数据格式多，有结构数据、半结构数据和非结构数据。据相关数据统计，每秒钟人们发送290封电子邮件；亚马逊处理72.9笔订单；每分钟人们在YouTube上传20小时的视频；每月人们总共在facebook上浏览7000亿分钟。为了弥补传统方法无法处理如此量大且非结构的大数据的缺陷，人们研究出了云计算，以云计算为基础的信息存储、分享和挖掘手段，可以便宜、有效地将这些大量、高速、多变化的终端大数据存储下来。大数据计数的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化的分析处理，换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键在于提高对数据的“加工分析能力”，实现增值。
技术实现思路
针对现有技术中存在的缺陷，本专利技术的目的在于提供一种大数据分析系统，通过动态构建分析方法实现数据分析等功能集中化，从而降低数据分析的复杂度，减少重复工作。为达到以上目的，本专利技术采取的技术方案是：一种大数据分析系统，包括数据采集模块、数据传输模块、数据存储模块、数据分析服务器和终端设备；所述数据采集模块用于采集数据信息；所述数据传输模块用于将采集到的数据信息传输至数据存储模块；所述数据存储模块用于存储数据信息；所述数据分析服务器用于根据终端设备输入的数据分析需求选取对应的分析方法对从数据存储模块中接收的数据进行统计分析，并将统计分析后的数据分析结果发送到终端设备；所述终端设备一方面用于接收数据分析服务器发送的数据分析结果，另一方面通过终端设备将数据分析需求传送到数据分析服务器；所述数据分析服务器包括：数据检测模块、数据标记模块、数据分类模块和数据分析模块；所述数据检测模块用于对接收到的数据进行有效数据和无效数据的鉴别，并将有效数据输入至数据标记模块；所述数据标记模块用于对有效数据进行标记；所述数据分类模块用于对标记后的数据进行分类整理；所述数据分析模块用于对分类整理后的数据进行统计分析，得出数据分析结果。在上述方案的基础上，所述大数据分析系统还包括身份认证模块，在大数据分析服务器启动之前，身份认证模块需要用户输入身份认证信息进行身份认证。在上述方案的基础上，所述大数据分析系统还包括数据加密模块，用于对数据采集模块采集到的数据信息进行加密处理形成加密数据信号，通过数据传输模块将加密数据信号传输至数据存储模块。在上述方案的基础上，所述数据分析服务器还包括评价模块和校正模块；所述评价模块用于对数据分析模块得到的数据分析结果进行评价，与预设的评价指标进行比较，数据分析结果指数高于预设的评价指标值时为合格，否则为不合格；所述校正模块用于对不合格的数据分析结果进行偏差校正，提高大数据分析系统的准确性。在上述方案的基础上，所述校正模块采用Storm拓扑结构架构，实时矫正大数据分析的偏差。在上述方案的基础上，所述数据分析服务器还包括数据解密模块，用于将加密后的数据信号进行解密处理，解密后的数据信号传输至数据检测模块。在上述方案的基础上，所述数据传输模块包括无线通信模块和通信电缆。在上述方案的基础上，所述数据分析模块包括分析需求确认模块、物理建模模块、逻辑建模模块和分析方法动态构建模块；所述分析需求确认模块用于确认分析需求；所述物理建模模块用于根据所述分析需求确认模块所确认的分析需求构建物理模型；所述逻辑建模模块用于根据所述物理建模模块所构建的物理模型构建逻辑模型；所述分析方法动态构建模块，用于根据所述逻辑建模模块所构建的逻辑模型动态构建分析方法。在上述方案的基础上，所述终端设备中设有语音输入模块和语音播放模块，所述语音输入模块用于接收数据分析需求等语音信息，并将语音信息经过处理发送给数据分析服务器，所述语音播放模块用于播放数据分析服务器得到的数据分析结果。在上述方案的基础上，所述数据采集模块包括网络数据采集模块、系统日志采集模块和其他数据采集模块；所述网络数据采集模块从网站上获取数据信息；所述系统日志采集模块为基于插件的模式，系统根据不同的日志源调用不同的采集服务对数据进行采集；所述其他数据采集模块通过与企业或研究机构合作，使用特定系统接口的方式采集数据。有益效果：通过多种方式同时采集数据，系统日志采集模块采用分布式架构，能满足每秒数百MB的日志数据采集和传输需求；网络数据采集模块支持图片、音频和视频等文件或附件的采集，附件与正文可以自动关联；其他数据采集模块主要是针对企业生产经营数据或学科研究数据等保密性要求较高的数据，使用特定系统接口提高数据安全性。使采集的数据范围大、来源广，增加数据分析的可靠性。校正模块采用Storm拓扑结构架构，使用快速高效的Storm架构，可实时矫正大数据分析的偏差，而且不需要专业的人员就可以得出较为精准的数据结果。通过本技术方案，达到数据统计范围更广，数据统计分析结果更具有说服力。本专利技术提供的数据分析系统可以通过动态构建分析方法实现数据分析等功能集中化，从而降低数据分析的复杂度，减少重复工作。附图说明本专利技术有如下附图：图1本专利技术的结构示意框图。具体实施方式以下结合附图1对本专利技术作进一步详细说明。如图1所示，一种大数据分析系统，包括数据采集模块、数据传输模块、数据存储模块、数据分析服务器和终端设备；所述数据采集模块用于采集数据信息；所述数据传输模块用于将采集到的数据信息传输至数据存储模块；所述数据存储模块用于存储数据信息；所述数据分析服务器用于根据终端设备输入的数据分析需求选取对应的分析方法对从数据存储模块中接收的数据进行统计分析，并将统计分析后的数据分析结果发送到终端设备；所述终端设备一方面用于接收数据分析服务器发送的数据分析结果，另一方面通过终端设备将数据分析需求传送到数据分析服务器；所述数据分析服务器包括：数据检测模块、数据标记模块、数据分类模块和数据分析模块；所述数据检测模块用于对接收到的数据进行有效数据和无效数据的鉴别，并将有效数据输入至数据标记模块；所述数据标记模块用于对有效数据进行标记；所述数据分类模块用于对标记后的数据进行分类整理；所述数据分析模块用于对分类整理后的数据进行统计分析，得出数据分析结果。在上述方案的基础上，所述大数据分析系统还包括身份认证模块，在大数据分析服务器启动之前，身份认证模块需要用户输入身份认证信息进行身份认证。在上述方案的基础上，所述大数据分析系统还包括数据加密模块，用于对数据采集模块采集到的数据信息进行加密处理形成加密数据信号，通过数据传输模块将加密数据信号传输至数据存储模块。在上述方案的基础上，所述数据分析服务器还包括评价模块和校正模块；所述评价模块用于对数据分析模块得到的数据分析结果进行评价，与预设的评价指标进行比较，数据分析结果指数高于预设的评价指标值时为合格，否则为不合格；所述校正模块用于对不合格的数据分析结果进行偏差校正，提高大数据分本文档来自技高网...

【技术保护点】
一种大数据分析系统，其特征在于：包括数据采集模块、数据传输模块、数据存储模块、数据分析服务器和终端设备；所述数据采集模块用于采集数据信息；所述数据传输模块用于将采集到的数据信息传输至数据存储模块；所述数据存储模块用于存储数据信息；所述数据分析服务器用于根据终端设备输入的数据分析需求选取对应的分析方法对从数据存储模块中接收的数据进行统计分析，并将统计分析后的数据分析结果发送到终端设备；所述终端设备一方面用于接收数据分析服务器发送的数据分析结果，另一方面通过终端设备将数据分析需求传送到数据分析服务器；所述数据分析服务器包括：数据检测模块、数据标记模块、数据分类模块和数据分析模块；所述数据检测模块用于对接收到的数据进行有效数据和无效数据的鉴别，并将有效数据输入至数据标记模块；所述数据标记模块用于对有效数据进行标记；所述数据分类模块用于对标记后的数据进行分类整理；所述数据分析模块用于对分类整理后的数据进行统计分析，得出数据分析结果。

【技术特征摘要】
1.一种大数据分析系统，其特征在于：包括数据采集模块、数据传输模块、数据存储模块、数据分析服务器和终端设备；所述数据采集模块用于采集数据信息；所述数据传输模块用于将采集到的数据信息传输至数据存储模块；所述数据存储模块用于存储数据信息；所述数据分析服务器用于根据终端设备输入的数据分析需求选取对应的分析方法对从数据存储模块中接收的数据进行统计分析，并将统计分析后的数据分析结果发送到终端设备；所述终端设备一方面用于接收数据分析服务器发送的数据分析结果，另一方面通过终端设备将数据分析需求传送到数据分析服务器；所述数据分析服务器包括：数据检测模块、数据标记模块、数据分类模块和数据分析模块；所述数据检测模块用于对接收到的数据进行有效数据和无效数据的鉴别，并将有效数据输入至数据标记模块；所述数据标记模块用于对有效数据进行标记；所述数据分类模块用于对标记后的数据进行分类整理；所述数据分析模块用于对分类整理后的数据进行统计分析，得出数据分析结果。2.如权利要求1所述的大数据分析系统，其特征在于：所述大数据分析系统还包括身份认证模块，在大数据分析服务器启动之前，身份认证模块需要用户输入身份认证信息进行身份认证。3.如权利要求1所述的大数据分析系统，其特征在于：所述大数据分析系统还包括数据加密模块，用于对数据采集模块采集到的数据信息进行加密处理形成加密数据信号，通过数据传输模块将加密数据信号传输至数据存储模块。4.如权利要求1所述的大数据分析系统，其特征在于：所述数据分析服务器还包括评价模块和校正模块；所述评价模块用于对数据分析模块得到的数据分析结果进行评价，与预设的评价指标进行比较，数据分析结果指数高于预设的评价指标值时为合格，否则为不合...

【专利技术属性】
技术研发人员：白云飞，
申请(专利权)人：北京天平检验行有限公司，
类型：发明
国别省市：北京,11