一种大数据存储分析系统技术方案

本发明专利技术涉及数据分析系统领域，尤其涉及一种大数据存储分析系统，包括采集模块，所述采集模块连接有数据预处理模块，所述数据预处理模块包括数据持久化模块，所述数据预处理模块连接有导入模块，所述导入模块连接有存储模块，所述存储模块连接有数据可视化模块，所述数据可视化模块连接有人机交互模块，本发明专利技术可以对网页上爬取的数据进行解析与过滤处理，处理掉无用或者错误数据，并将数据在云端进行存储，提升数据质量，降低系统运行负担，实现了网页上大数据的整合归类，为后续储存带来合理基础、为后期调取带来便捷，还提供了多种数据可视化的方式，满足不同用户的调取需求。满足不同用户的调取需求。满足不同用户的调取需求。

【技术实现步骤摘要】
一种大数据存储分析系统


[0001]本专利技术涉及数据分析系统领域，尤其涉及一种大数据存储分析系统。

技术介绍

[0002]大数据或称巨量资料，指的是所涉及的资料量规模巨大到无法透过主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯，在网页大数据获取的过程中，由于网页中的数据种类多且繁杂，现有的大数据储存分析系统在对获取的数据处理过程中，难以进行较好的归类与存储，因此，许多数据只能短暂性的爬取与利用，无法长久的储存，由于数据类型混乱且统一整合在一起，在多次分析时数据积累过多则混乱程度明显加大，为数据的存储与分析带来不便，还有，对于数据可视化过程效果并不明显，并不能给予用户多样的数据提取或者查看方式，使用局限性非常大，而同时，对于远程的移动端或者主机端客户来说，存储的大数据也难以依照类型进行精准调用。

技术实现思路

[0003]本专利技术的目的是为了解决
技术介绍
中存在的缺点，而提出的一种大数据存储分析系统。
[0004]为达到以上目的，本专利技术采用的技术方案为：一种大数据存储分析系本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大数据存储分析系统，包括采集模块，其特征在于：所述采集模块连接有数据预处理模块，所述数据预处理模块包括数据持久化模块，所述数据预处理模块连接有导入模块，所述导入模块连接有存储模块，所述存储模块连接有数据可视化模块，所述数据可视化模块连接有人机交互模块，其中：所述数据预处理模块将网页上爬取的数据信息进行解析过滤筛选；所述数据持久化模块将处理后的数据信息分类整合；所述导入模块用来传输数据至存储模块中以进行保存；所述数据可视化模块将存储模块中的存储数据进行可视化表现，以供人机交互模块使用过程中直观的获取数据信息。2.根据权利要求1所述的一种大数据存储分析系统，其特征在于：所述数据预处理模块还包括数据解析模块、数据过滤模块、数据加密模块与网络传输模块，其中：所述数据解析模块用来解析网页中的数据；所述数据过滤模块用来过滤掉网页中无用数据，无用数据包括文字字数、段落间行间距与网页页数。3.根据权利要求2所述的一种大数据存储分析系统，其特征在于：所述网络传输模块连接有云端服务器模块，所述网络传输模块将预处理的数据发送至云端服务器模块中，所述云端服务器模块用来对数据进行储存，以便于后期调取使用。4.根据权利要求3所述的一种大数据存储分析系统，其特征在于：所述云端服务器模块包括云存储库、云调取模块、云更新模块，所述云存储库用来储存云端数据，所述云调取模块用来调取云存储库中的云端数据，所述云更新模块用来根据上传的云端数据对云存储库中的数据信息进行及时更新。5.根据权利要求1所述的一种大数据存储分析系统，其特征在于：所述数据可视化模块包括数显模块、A/D转换模块、数据分发模块、读写模块、预警模块与冗沉数据消除模块，所述数显模块用来直接将数值显示出来，所述A/D转换模块进行模数转换以将数据传输至外界连接设备，所述数...

【专利技术属性】
技术研发人员：王中龙，王安洋，刘越，周佳，孟卫东，李文敬，淳于岳松，孙静，
申请(专利权)人：国家电网有限公司，
类型：发明
国别省市：