基于Spark的大数据可视化分析系统及其方法技术方案

本发明专利技术涉及基于Spark的大数据可视化分析系统及其方法，包括数据采集模块，数据采集模块的输出端与数据存储模块的输入端相连接，数据存储模块的输出端与数据预处理模块的输入端相连接，数据预处理模块的输出端与数据分析模块的输入端相连接，数据分析模块的输出端与数据分类入库模块的输入端相连接，数据分类入库模块的输出端与数据输出模块的输入端相连接，数据输出模块的输出端与可视化模块的输入端相连接。本发明专利技术可以综合解决在互联网中海量数据处理的问题，实现数据标准统一，以完成环境数据的统一规划、集成和管理，提高数据产品加工和服务能力。

【技术实现步骤摘要】
基于Spark的大数据可视化分析系统及其方法
本专利技术涉及计算机数据分析相关
，尤其涉及基于Spark的大数据可视化分析系统及其方法。
技术介绍
大数据是当前学术界和产业界的研究热点，正影响着人们日常生活方式、工作习惯及思考模式，大数据分析是大数据研究领域的核心内容之一。通常，数据的分析过程往往离不开机器和人的相互协作与优势互补，可以从两方面出发，一是从机器或计算机的角度出发，强调机器的计算能力和人工智能，以各种高性能处理算法、智能搜索与挖掘算法等为主要研究内容，另一个从人作为分析主体和需求主体的角度出发，强调基于人机交互的、符合人的认知规律的分析方法，意图将人所具备的、机器并不擅长的认知能力融入分析过程中，这一研究分支以大数据可视分析(visualanalyticsofbigdata)为主要代表。当大数据以直观的可视化的图形形式展示在分析者面前时，分析者往往能够一眼洞悉数据背后隐藏的信息并转化知识以及智慧。大数据可视化分析是大数据分析不可或缺的重要手段和工具。事实上，在科学计算可视化领域以及传统的商业智能(businessintelligence，简称BI)领域，可视化一直是重要的方法和手段。如何设计出能集成海量、多源、异构数据且实现数据动态更新的数据中心框架，如何实现数据标准统一，以完成环境数据的统一规划、集成和管理，提高数据产品加工和服务能力等，通过数据帮助管理者进行决策的都是难点问题。有鉴于上述的缺陷，本设计人积极加以研究创新，以期创设基于Spark的大数据可视化分析系统及其方法，使其更具有产业上的利用价值。
技术实现思路
为解决上述技术问题，本专利技术的目的是提供为实现上述目的，本专利技术采用如下技术方案：基于Spark的大数据可视化分析系统，包括数据采集模块，数据采集模块的输出端与数据存储模块的输入端相连接，数据存储模块的输出端与数据预处理模块的输入端相连接，数据预处理模块的输出端与数据分析模块的输入端相连接，数据分析模块的输出端与数据分类入库模块的输入端相连接，数据分类入库模块的输出端与数据输出模块的输入端相连接，数据输出模块的输出端与可视化模块的输入端相连接。作为本专利技术的进一步改进，数据采集模块利用Cloudera提供的分布式日志采集系统Flume进行数据采集处理。作为本专利技术的进一步改进，数据存储模块利用DDB分布系存储系统来进行数据存储处理。作为本专利技术的进一步改进，数据预处理模块利用Spark计算框架对DDB分布系存储系统上存储的数据进行预处理。作为本专利技术的进一步改进，数据分析模块获取预处理后的特征数据，对特征数据进行频繁序列挖掘和聚类分析，得到分析结果。作为本专利技术的进一步改进，数据分类入库模块将分析结果传输至Mysql数据库内进行分类储存。作为本专利技术的进一步改进，数据输出模块将Mysql数据库内数据的分析结果传输至可视化模块，并通过可视化模块进行可视化处理并展示。基于Spark的大数据可视化分析方法，包括以下步骤：步骤S1，数据采集：数据采集模块利用Cloudera提供的分布式日志采集系统Flume进行数据采集处理；步骤S2，数据存储：数据存储模块利用DDB分布系存储系统来进行数据存储处理；步骤S3，数据预处理：数据预处理模块利用Spark计算框架对DDB分布系存储系统上存储的数据进行预处理；步骤S4，数据分析：数据分析模块获取预处理后的特征数据，对特征数据进行频繁序列挖掘和聚类分析，得到分析结果；步骤S5，数据分类入库：数据分类入库模块将分析结果传输至Mysql数据库内进行分类储存；步骤S6，数据可视化：数据输出模块将Mysql数据库内数据的分析结果传输至可视化模块，并通过可视化模块进行可视化处理并展示。作为本专利技术的进一步改进，步骤S6中，数据输出模块通过TCP/IP数据协议将Mysql数据库内数据的分析结果通过可视化模块进行可视化图形或者数字处理并展示。借由上述方案，本专利技术至少具有以下优点：本专利技术基于Spark的大数据可视化分析系统，可以综合解决在互联网中海量数据处理的问题，实现数据标准统一，以完成环境数据的统一规划、集成和管理，提高数据产品加工和服务能力；本专利技术利用框架中大数据平台的特点，能够有效地处理数据信息，提供数据的存储和分析以及展示，使数据处理过程更加高效完善，有较强的可扩展性和容错性。上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，并可依照说明书的内容予以实施，以下以本专利技术的较佳实施例并配合附图详细说明如后。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。图1是本专利技术基于Spark的大数据可视化分析系统的结构示意图。其中，图中各附图标记的含义如下。1数据采集模块2数据存储模块3数据预处理模块4数据分析模块5数据分类入库模块6数据输出模块7可视化模块具体实施方式下面结合附图和实施例，对本专利技术的具体实施方式作进一步详细描述。以下实施例用于说明本专利技术，但不用来限制本专利技术的范围。为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本专利技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本专利技术的实施例的详细描述并非旨在限制要求保护的本专利技术的范围，而是仅仅表示本专利技术的选定实施例。基于本专利技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。实施例如图1所示，基于Spark的大数据可视化分析系统，包括数据采集模块1，数据采集模块1的输出端与数据存储模块2的输入端相连接，数据存储模块2的输出端与数据预处理模块3的输入端相连接，数据预处理模块3的输出端与数据分析模块4的输入端相连接，数据分析模块4的输出端与数据分类入库模块5的输入端相连接，数据分类入库模块5的输出端与数据输出模块6的输入端相连接，数据输出模块6的输出端与可视化模块7的输入端相连接。优选的，数据采集模块1利用Cloudera提供的分布式日志采集系统Flume进行数据采集处理。优选的，数据存储模块2利用DDB分布系存储系统来进行数据存储处理。优选的，数据预处理模块3利用Spark计算框架对DDB分布系存储系统上存储的数据进行预处理。优选的，数据分析模块4获取预处理后的特征数据，对特征数据进行频繁序列挖掘和聚类分析，得到分析结果。优选的，数据分类入库模块本文档来自技高网...

【技术保护点】
1.基于Spark的大数据可视化分析系统，其特征在于，包括数据采集模块(1)，所述数据采集模块(1)的输出端与数据存储模块(2)的输入端相连接，所述数据存储模块(2)的输出端与数据预处理模块(3)的输入端相连接，所述数据预处理模块(3)的输出端与数据分析模块(4)的输入端相连接，所述数据分析模块(4)的输出端与数据分类入库模块(5)的输入端相连接，所述数据分类入库模块(5)的输出端与数据输出模块(6)的输入端相连接，所述数据输出模块(6)的输出端与可视化模块(7)的输入端相连接。/n

【技术特征摘要】
1.基于Spark的大数据可视化分析系统，其特征在于，包括数据采集模块(1)，所述数据采集模块(1)的输出端与数据存储模块(2)的输入端相连接，所述数据存储模块(2)的输出端与数据预处理模块(3)的输入端相连接，所述数据预处理模块(3)的输出端与数据分析模块(4)的输入端相连接，所述数据分析模块(4)的输出端与数据分类入库模块(5)的输入端相连接，所述数据分类入库模块(5)的输出端与数据输出模块(6)的输入端相连接，所述数据输出模块(6)的输出端与可视化模块(7)的输入端相连接。


2.如权利要求1所述的基于Spark的大数据可视化分析系统，其特征在于，所述数据采集模块(1)利用Cloudera提供的分布式日志采集系统Flume进行数据采集处理。


3.如权利要求1所述的基于Spark的大数据可视化分析系统，其特征在于，所述数据存储模块(2)利用DDB分布系存储系统来进行数据存储处理。


4.如权利要求1所述的基于Spark的大数据可视化分析系统，其特征在于，所述数据预处理模块(3)利用Spark计算框架对DDB分布系存储系统上存储的数据进行预处理。


5.如权利要求1所述的基于Spark的大数据可视化分析系统，其特征在于，所述数据分析模块(4)获取预处理后的特征数据，对特征数据进行频繁序列挖掘和聚类分析，得到分析结果。


6.如权利要求1所述的基于Spark的大数据可视化分析系统，其特征在于，所述数据分类入库...

【专利技术属性】
技术研发人员：吴俭，俞方成，
申请(专利权)人：创智汇苏州电子商务有限公司，
类型：发明
国别省市：江苏;32