一种数据分析系统技术方案

本发明专利技术公开了一种数据分析系统，包括数据采集子系统、数据存储子系统、数据处理子系统、数据分析子系统和数据呈现子系统；数据采集子系统用于采集数据并将数据传送到数据存储子系统；数据存储子系统用于存储数据采集子系统采集的数据；数据处理子系统用于清洗、转化、提取和计算数据存储子系统中的数据；数据分析子系统用于对数据处理子系统处理后的数据进行统计分析和深度挖掘；数据呈现子系统用于以表格、图片和文字的形式呈现数据分析子系统处理后的数据。本发明专利技术通过对数据的采集、存储、处理和分析，然后再将经过分析的数据用文字、图片和表格等方式呈现给用户，达到数据整合的目的，快速直观。

【技术实现步骤摘要】
本专利技术涉及一种分析系统，更详细地，涉及一种数据分析系统。
技术介绍
数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。这一过程也是质量管理体系的支持过程。在实用中，数据分析可帮助人们作出判断，以便采取适当行动。数据分析的数学基础在20世纪早期就已确立，但直到计算机的出现才使得实际操作成为可能，并使得数据分析得以推广。数据分析是数学与计算机科学相结合的产物。数据多样化的形成主要有两方面的原因：一是数据来源多，有搜索引擎、社交网络、通话记录、传感器等等；二是数据格式多，有结构数据、半结构数据和非结构数据。据相关数据统计，每秒钟人们发送290封电子邮件；亚马逊处理72.9笔订单；每分钟人们在YouTube上传20小时的视频；每月人们总共在facebook上浏览7000亿分钟。目前的数据分析面临的问题是数据量大、多种结构形式和实时性等多样化要求，这些问题增加了数据采集和整合困难，传统的基于块和文件的存储系统的架构设计已无法满足数据分析的需要。
技术实现思路
本专利技术的目的是克服现有技术的不足，提供一种数据分析系统，该系统可以对数据进行采集、存储、分析、处理和呈现，达到数据整合的目的。一种数据分析系统，包括数据采集子系统、数据存储子系统、数据处理子系统、数据分析子系统和数据呈现子系统；所述数据采集子系统用于采集数据并将数据传送到数据存储子系统；所述数据存储子系统用于存储数据采集子系统采集的数据；所述数据处理子系统用于清洗、转化、提取和计算数据存储子系统中的数据；所述数据分析子系统用于对数据处理子系统处理后的数据进行统计分析和深度挖掘；所述数据呈现子系统用于以表格、图片和文字的形式呈现数据分析子系统处理后的数据。本专利技术通过对数据的采集、存储、处理和分析，然后再将经过分析的数据用文字、图片和表格等方式呈现给用户，达到数据整合的目的，快速直观。进一步地，所述数据采集子系统包括硬件部分和软件部分。本专利技术通过硬件系统和软件系统同时采集数据，使采集的数据范围大、来源广，增加数据分析的可靠性。进一步地，所述软件部分包括系统日志采集模块、网络数据采集模块和其他数据采集模块；所述日志采集模块为基于插件的模式，构建适应业务场景的采集插件，系统会根据不同的日志源调用不同的采集服务对数据进行采集，并统一格式处理，持久到日志库；所述网络数据采集模块通过网络爬虫或网站公开API的方式从网站上获取数据信息，将非结构化数据从网页中抽取出来并以结构化的方式存储为统一的本地数据文件。所述其他数据采集模块通过与企业或研究机构合作，使用特定系统接口的方式采集数据。本专利技术的日志采集模块采用分布式架构，能满足每秒数百MB的日志数据采集和传输需求；网络数据采集模块支持图片、音频和视频等文件或附件的采集，附件与正文可以自动关联；其他数据采集模块主要是针对企业生产经营数据或学科研究数据等保密性要求较高的数据，使用特定系统接口提高数据安全性。进一步地，所述硬件部分包括依次连接的传感器、前置放大器、滤波器、多路模拟开关、采样保持器、A/D转换器和计算机系统。传感器包括各种类型的传感器，可以对图像、声音、温度等等数据进行采集，加强数据来源的完整性。本专利技术的有益效果在于：1、本专利技术通过对数据的采集、存储、处理和分析，然后再将经过分析的数据用文字、图片和表格等方式呈现给用户，达到数据整合的目的，快速直观。2、通过硬件系统和软件系统同时采集数据，使采集的数据范围大、来源广，增加数据分析的可靠性。3、本专利技术的日志采集模块采用分布式架构，能满足每秒数百MB的日志数据采集和传输需求；网络数据采集模块支持图片、音频和视频等文件或附件的采集，附件与正文可以自动关联；其他数据采集模块主要是针对企业生产经营数据或学科研究数据等保密性要求较高的数据，使用特定系统接口提高数据安全性。附图说明此处所说明的附图用来提供对本专利技术实施例的进一步理解，构成本申请的一部分，并不构成对本专利技术实施例的限定。在附图中：图1为本专利技术的结构示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本专利技术作进一步的详细说明，本专利技术的示意性实施方式及其说明仅用于解释本专利技术，并不作为对本专利技术的限定。实施例1如图1所示，本实施例提供一种数据分析系统，包括数据采集子系统、数据存储子系统、数据处理子系统、数据分析子系统和数据呈现子系统；数据采集子系统用于采集数据并将数据传送到数据存储子系统；数据存储子系统用于存储数据采集子系统采集的数据；数据处理子系统用于清洗、转化、提取和计算数据存储子系统中的数据；数据分析子系统用于对数据处理子系统处理后的数据进行统计分析和深度挖掘；数据呈现子系统用于以表格、图片和文字的形式呈现数据分析子系统处理后的数据；数据采集子系统包括硬件部分和软件部分，软件部分包括系统日志采集模块、网络数据采集模块和其他数据采集模块，日志采集模块为基于插件的模式，构建适应业务场景的采集插件，系统会根据不同的日志源调用不同的采集服务对数据进行采集，并统一格式处理，持久到日志库，网络数据采集模块通过网络爬虫或网站公开API的方式从网站上获取数据信息，将非结构化数据从网页中抽取出来并以结构化的方式存储为统一的本地数据文件，其他数据采集模块通过与企业或研究机构合作，使用特定系统接口的方式采集数据；硬件部分包括依次连接的传感器、前置放大器、滤波器、多路模拟开关、采样保持器、A/D转换器和计算机系统。以上所述的具体实施方式，对本专利技术的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本专利技术的具体实施方式而已，并不用于限定本专利技术的保护范围，凡在本专利技术的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本专利技术的保护范围之内。本文档来自技高网...

【技术保护点】
一种数据分析系统，其特征在于，包括数据采集子系统、数据存储子系统、数据处理子系统、数据分析子系统和数据呈现子系统；所述数据采集子系统用于采集数据并将数据传送到数据存储子系统；所述数据存储子系统用于存储数据采集子系统采集的数据；所述数据处理子系统用于清洗、转化、提取和计算数据存储子系统中的数据；所述数据分析子系统用于对数据处理子系统处理后的数据进行统计分析和深度挖掘；所述数据呈现子系统用于以表格、图片和文字的形式呈现数据分析子系统处理后的数据。

【技术特征摘要】
1.一种数据分析系统，其特征在于，包括数据采集子系统、数据存储子系统、数据处理子系统、数据分析子系统和数据呈现子系统；所述数据采集子系统用于采集数据并将数据传送到数据存储子系统；所述数据存储子系统用于存储数据采集子系统采集的数据；所述数据处理子系统用于清洗、转化、提取和计算数据存储子系统中的数据；所述数据分析子系统用于对数据处理子系统处理后的数据进行统计分析和深度挖掘；所述数据呈现子系统用于以表格、图片和文字的形式呈现数据分析子系统处理后的数据。2.根据权利要求1所述的一种数据分析系统，其特征在于，所述数据采集子系统包括硬件部分和软件部分。3.根据权利要求2所述的一种数据分析系统，其特征在于，所述...

【专利技术属性】
技术研发人员：陈晓琦，
申请(专利权)人：成都众易通科技有限公司，
类型：发明
国别省市：四川;51