一种大数据存储系统集成系统技术方案

本发明专利技术公开了一种大数据存储系统集成系统，包括存储模块、集成模块和传输模块，存储模块和集成模块之间通过传输模块相连接；存储模块包括数据采集层、数据挖掘层、数据处理层、数据运算层、数据传输层以及数据源中心，数据采集层、数据挖掘层、数据处理层、数据运算层、数据传输层和数据源中心之间通过无线或者有线网络依次连接；集成模块包括数据编译层、在线历史库层、离线归档库层和数据仓库品台层，数据编译层、在线历史库层、离线归档库层和数据仓库品台层之间通过无线或者有线网络依次连接；本发明专利技术通过设置的存储模块和集成模块，能够有效实现其数据信息的统一管理，并且在数据调用的过程中实现自由读取的目的。

【技术实现步骤摘要】
一种大数据存储系统集成系统
本专利技术涉及数据库
，具体为一种大数据存储系统集成系统。
技术介绍
大数据(bigdata,megadata)，或称巨量资料，指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法(抽样调查)这样的捷径，而采用所有数据进行分析处理。大数据的5V特点:Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值密度)、Veracity(真实性)。“大数据”是指以多元形式，自许多来源搜集而来的庞大数据组，往往具有实时性。在企业对企业销售的情况下，这些数据可能得自社交网络、电子商务网站、顾客来访纪录，还有许多其他来源。这些数据，并非公司顾客关系管理数据库的常态数据组。大数据存储是为了有效实现其数据信息的统一管理，然而在数据调用的过程中若不能实现自由读取，则大数据存储的价值则无法实现。
技术实现思路
本专利技术的目的在于提供一种大数据存储系统集成系统，以解决上述
技术介绍
中提出的问题。为实现上述目的，本专利技术提供如下技术方案：一种大数据存储系统集成系统，包括存储模块、集成模块和传输模块，存储模块和集成模块之间通过传输模块相连接；存储模块包括数据采集层、数据挖掘层、数据处理层、数据运算层、数据传输层以及数据源中心，数据采集层、数据挖掘层、数据处理层、数据运算层、数据传输层和数据源中心之间通过无线或者有线网络依次连接；数据采集层，用于采集本地系统、异地系统和互联网对应大数据，其包括用于接收和发送数据的数据收发器，所述数据收发器包括用于采集本地系统、异地系统对应数据的本地采集器、用于采集互联网信息的互联网数据采集器、用于接收数据仓库品台层发送数据的接收器、以及用于向数据挖掘层发送数据的发送器；数据挖掘层，用于挖掘所述数据采集层中的用户大数据，并对数据采集层中的本地采集器、互联网数据采集器和接收器采集的数据进行解析，以判断对应数据的来源与目的；数据处理层，对从所述数据挖掘层挖掘后的数据进行分析；数据运算层，用于将所述用户大数据进行加密处理；数据传输层，用于将加密后的用户大数据进行传输；数据源中心，用于存储加密后的用户大数据；集成模块包括数据编译层、在线历史库层、离线归档库层和数据仓库品台层，数据编译层、在线历史库层、离线归档库层和数据仓库品台层之间通过无线或者有线网络依次连接；数据编译层，用于对数据源中心存储的用户大数据进行编辑，并将编辑后的相关数据存储在所述在线历史库层中；在线历史库层，根据数据的活跃情况将数据存储到所述离线归档库层中；离线归档库层，用于存储在线历史库层传送过来的数据信息，并将该数据信息发送给数据仓库品台层；数据仓库品台层，对整理出的数据进行存储并构建数据集成的总体架构，实现与各业务系统数据的交互。作为本专利技术一种优选的技术方案，所述数据仓库品台层包括用于向数据采集层发送数据的发送器，数据仓库品台层和数据采集层之间通过用于接收数据仓库品台层发送数据的接收器和用于向数据采集层发送数据的发送器相连接。作为本专利技术一种优选的技术方案，所述数据采集层中的本地采集器是利用JDBC方式周期性地对本地系统、异地系统对应的数据进行数据采集，互联网数据采集器是通过爬虫技术抓取所需的互联网信息。作为本专利技术一种优选的技术方案，所述数据运算层中的加密处理是采用以下加密算法中的一种：数据加密算法DES、高级加密标准AES、RSA加密算法、Base64加密算法、消息摘要算法第五版MD5加密算法或者安全哈希算法SHA1。作为本专利技术一种优选的技术方案，所述数据挖掘层是采用海杜普Hadoop分布式架构技术，对数据采集层中的用户大数据进行挖掘。与现有技术相比，本专利技术的有益效果是：本专利技术提供的一种大数据存储系统集成系统，通过设置的存储模块和集成模块，能够及时存储用户搜集而来的庞大数据组，并将用户搜集而来的庞大数据组在下次用户收集数据时被调用出来，供用户查看使用，能够有效实现其数据信息的统一管理，并且在数据调用的过程中实现自由读取的目的。附图说明图1为本专利技术工作路程图。图中标号：1、存储模块；11、数据采集层；12、数据挖掘层；13、数据处理层；14、数据运算层；15、数据传输层；16、数据源中心；2、集成模块；21、数据编译层；22、在线历史库层；23、离线归档库层；24、数据仓库品台层；3、传输模块。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。在本专利技术的描述中，需要说明的是，术语“竖直”、“上”、“下”、“水平”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的限制。在本专利技术的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本专利技术中的具体含义。请参阅图1，本专利技术提供一种技术方案：一种大数据存储系统集成系统，包括存储模块1、集成模块2和传输模块3，存储模块1和集成模块2之间通过传输模块3相连接；存储模块1包括数据采集层11、数据挖掘层12、数据处理层13、数据运算层14、数据传输层15以及数据源中心16，数据采集层11、数据挖掘层12、数据处理层13、数据运算层14、数据传输层15和数据源中心16之间通过无线或者有线网络依次连接；数据采集层11，用于采集本地系统、异地系统和互联网对应大数据，其包括用于接收和发送数据的数据收发器，所述数据收发器包括用于采集本地系统、异地系统对应数据的本地采集器、用于采集互联网信息的互联网数据采集器、用于接收数据仓库品台层24发送数据的接收器、以及用于向数据挖掘层12发送数据的发送器；数据挖掘层12，用于挖掘所述数据采集层11中的用户大数据，并对数据采集层11中的本地采集器、互联网数据采集器和接收器采集的数据进行解析，以判断对应数据的来源与目的；数据处理层13，对从所述数据挖掘层12挖掘后的数据进行分析；数据运算层14，用于将所述用户大数据进行加密处理；数据传输层15，用于将加密后的用户大数据进行传输；数据源中心16，用于存储加密后的用户大数据；集成模块2包括数据编译层21、在线历史库层22、离线归档库层23和数据仓库品台层24，数据编译层21、在线历史库层22、离线归档库层23和数据仓库品台层24之间通过无线或者有线网络依次连接；数据编译层21，用于对数据源中心16存储的用户大数据进行编辑，并将编辑后的相关数据存储在所述在线历史库层22中；在线历史库层22，根据数据的活跃情况将数据存储到所述离本文档来自技高网...

【技术保护点】
1.一种大数据存储系统集成系统，其特征在于，包括存储模块(1)、集成模块(2)和传输模块(3)，存储模块(1)和集成模块(2)之间通过传输模块(3)相连接；存储模块(1)包括数据采集层(11)、数据挖掘层(12)、数据处理层(13)、数据运算层(14)、数据传输层(15)以及数据源中心(16)，数据采集层(11)、数据挖掘层(12)、数据处理层(13)、数据运算层(14)、数据传输层(15)和数据源中心(16)之间通过无线或者有线网络依次连接；数据采集层(11)，用于采集本地系统、异地系统和互联网对应大数据，其包括用于接收和发送数据的数据收发器，所述数据收发器包括用于采集本地系统、异地系统对应数据的本地采集器、用于采集互联网信息的互联网数据采集器、用于接收数据仓库品台层(24)发送数据的接收器、以及用于向数据挖掘层(12)发送数据的发送器；数据挖掘层(12)，用于挖掘所述数据采集层(11)中的用户大数据，并对数据采集层(11)中的本地采集器、互联网数据采集器和接收器采集的数据进行解析，以判断对应数据的来源与目的；数据处理层(13)，对从所述数据挖掘层(12)挖掘后的数据进行分析；数据运算层(14)，用于将所述用户大数据进行加密处理；数据传输层(15)，用于将加密后的用户大数据进行传输；数据源中心(16)，用于存储加密后的用户大数据；集成模块(2)包括数据编译层(21)、在线历史库层(22)、离线归档库层(23)和数据仓库品台层(24)，数据编译层(21)、在线历史库层(22)、离线归档库层(23)和数据仓库品台层(24)之间通过无线或者有线网络依次连接；数据编译层(21)，用于对数据源中心(16)存储的用户大数据进行编辑，并将编辑后的相关数据存储在所述在线历史库层(22)中；在线历史库层(22)，根据数据的活跃情况将数据存储到所述离线归档库层(23)中；离线归档库层(23)，用于存储在线历史库层(22)传送过来的数据信息，并将该数据信息发送给数据仓库品台层(24)；数据仓库品台层(24)，对整理出的数据进行存储并构建数据集成的总体架构，实现与各业务系统数据的交互。...

【技术特征摘要】
1.一种大数据存储系统集成系统，其特征在于，包括存储模块(1)、集成模块(2)和传输模块(3)，存储模块(1)和集成模块(2)之间通过传输模块(3)相连接；存储模块(1)包括数据采集层(11)、数据挖掘层(12)、数据处理层(13)、数据运算层(14)、数据传输层(15)以及数据源中心(16)，数据采集层(11)、数据挖掘层(12)、数据处理层(13)、数据运算层(14)、数据传输层(15)和数据源中心(16)之间通过无线或者有线网络依次连接；数据采集层(11)，用于采集本地系统、异地系统和互联网对应大数据，其包括用于接收和发送数据的数据收发器，所述数据收发器包括用于采集本地系统、异地系统对应数据的本地采集器、用于采集互联网信息的互联网数据采集器、用于接收数据仓库品台层(24)发送数据的接收器、以及用于向数据挖掘层(12)发送数据的发送器；数据挖掘层(12)，用于挖掘所述数据采集层(11)中的用户大数据，并对数据采集层(11)中的本地采集器、互联网数据采集器和接收器采集的数据进行解析，以判断对应数据的来源与目的；数据处理层(13)，对从所述数据挖掘层(12)挖掘后的数据进行分析；数据运算层(14)，用于将所述用户大数据进行加密处理；数据传输层(15)，用于将加密后的用户大数据进行传输；数据源中心(16)，用于存储加密后的用户大数据；集成模块(2)包括数据编译层(21)、在线历史库层(22)、离线归档库层(23)和数据仓库品台层(24)，数据编译层(21)、在线历史库层(22)、离线归档库层(23)和数据仓库品台层(24)之间通过无线或者有线网...

【专利技术属性】
技术研发人员：唐海霞，
申请(专利权)人：安徽亿联网络科技有限公司，
类型：发明
国别省市：安徽,34