大数据多网融合科研一体机平台装置制造方法及图纸

本发明专利技术提供一种大数据多网融合科研一体机平台装置，涉及大数据处理领域。该大数据多网融合科研一体机平台装置，包括cProc云处理平台、应用层、虚拟资源层和立方数据库，cProc云处理平台分别与Storm云存储系统、HBase分布式数据库和HDFS分布式文件系统双向连接，cProc云处理平台还与大数据实3验一体机双向连接，大数据实验一体机与分布式计算机双向连接。该大数据多网融合科研一体机平台装置，通过Storm云储存系统、HBas分布式数据库和HDFS分布式文件系统的配合对大数据进行存储，减少了硬件和人员管理的投入成本，储存量大，适用性强，可靠性高。

Large data and multi network integration research integrated platform device

The invention provides a large data multi network fusion scientific research integrated platform device, which relates to the field of large data processing. It includes the cProc cloud processing platform, the application layer, the virtual resource layer and the cubic database. The cProc cloud processing platform is connected with the Storm cloud storage system, the HBase distributed database and the HDFS distributed file system respectively. The cProc cloud processing platform is also integrated with the big data. Two way connection, big data experiment integrated machine and distributed computer two-way connection. The large data multi network integration research integrated platform device, through the Storm cloud storage system, HBas distributed database and HDFS distributed file system to store large data, reduce the cost of hardware and personnel management, large storage, strong applicability, high reliability.

【技术实现步骤摘要】
大数据多网融合科研一体机平台装置
本专利技术大数据处理
，具体为一种大数据多网融合科研一体机平台装置。
技术介绍
数据是指对客观事件进行记录并可以鉴别的符号，是对客观事物的性质、状态以及相互关系等进行记载的物理符号或这些物理符号的组合。它是可识别的、抽象的符号。它不仅指狭义上的数字，还可以是具有一定意义的文字、字母、数字符号的组合、图形、图像、视频、音频等，也是客观事物的属性、数量、位置及其相互关系的抽象表示。例如，“0、1、2...”、“阴、雨、下降、气温”“学生的档案记录、货物的运输情况”等都是数据，数据经过加工后就成为信息。在各大高校的学生实验过程中常常会产生大量的实验数据，这些大数据处理时常常需要用到大数据实验一体机，大数据实验一体机通过应用容器技术，以少量机器虚拟大量实验集群，可供大量学生同时拥有多套集群进行试验，而每个学生的实验环境不仅相互隔离，方便高效地完成实验，而且实验彼此不干扰，即使某个实验环境被破坏，对其他人也没有影响。目前的大数据实验一体机对于数据的存储大多数都是采用自身的存储机构和外置的存储设备进行，但是这样的存储方式硬件和人员管理的投入成本高，储存量小，适用性差。
技术实现思路
(一)解决的技术问题针对现有技术的不足，本专利技术提供了一种大数据多网融合科研一体机平台装置，解决了目前大数据实验一体机采用自身的存储机构和外置的存储设备进行存储，硬件和人员管理的投入成本高，储存量小，适用性差的问题。(二)技术方案为实现以上目的，本专利技术通过以下技术方案予以实现：一种大数据多网融合科研一体机平台装置，包括cProc云处理平台、应用层、虚拟资源层和立方数据库，所述cProc云处理平台分别与Storm云存储系统、HBase分布式数据库和HDFS分布式文件系统双向连接，所述cProc云处理平台还与大数据实验一体机双向连接，所述大数据实验一体机与分布式计算机双向连接。所述Storm云存储系统包括管理监控中心，所述管理监控中心分别与元数据管理服务器、数据存储节点服务器和客户端双线连接。所述管理监控中心包括配置中心和监控中心，所述配置中心包括卷配置、节点参数配置、存储参数配置、用户配额管理、QoS管理和告警装置，所述监控中心包括存储空间监控、设备状态监控、程序状态监控、硬盘状态监控、流量监控和全面警告。所述HBase分布式数据库和立方数据库构成管理层，且管理层分别与处理层和存储层连接，存储层由Storm云存储系统和HDFS分布式文件系统构成，处理层由MapReduce引擎组成，处理层还与业务层连接。优选的，所述cProc云处理平台搭建在云存储系统上，且cProc云处理平台为向业务层直接提供对外开发接口和数据传输接口的分布式数据处理平台。优选的，所述立方数据库是以B+树的结构建立了字段的索引，每个B+树结构的字段索引相当于一个数据平面，这样一个全局数据表与其多个重要字段的索引就组成了一个类似于立方体的数据组织结构。优选的，所述MapReduce引擎由JobTrackers和TaskTrackers组成。优选的，所述HDFS分布式文件系统由为其提供元数据服务NameNode和提供存储块的DataNode构成。优选的，所述业务层和存储层还分别与应用层和虚拟资源层连接，且应用层为智能终端、笔记本、PC机或者瘦客户机，所述虚拟资源层为网络资源。优选的，所述应用层、业务层、处理层、管理层、存储层和虚拟资源层对数据处理的同时监控协调层对应用层、业务层、处理层、管理层、存储层和虚拟资源层进行监控和协调，且监控协调层由Zookeeper和Chukwa组成。(三)有益效果本专利技术提供了一种大数据多网融合科研一体机平台装置。具备以下有益效果：1、该大数据多网融合科研一体机平台装置，通过Storm云储存系统、HBas分布式数据库和HDFS分布式文件系统的配合对大数据进行存储，Stor云存储系统采用云计算技术、网络通信技术以及分布式文件系统技术，将廉价的、性能低下的硬件存储节点组织管理起来，HBas分布式数据库可以获取距离某个时间最近的数据，或者一次获取所有数据，HDFS分布式文件系统既可以将数据合并化简，也可以将数据分成多个小单元，减少了硬件和人员管理的投入成本，储存量大，适用性强，可靠性高。2、该大数据多网融合科研一体机平台装置，Storm云储存系统采用包括元数据管理服务器(管理节点)、数据存储节点服务器(存储节点)以及客户端节点的结构构成一个虚拟的海量存储卷，有效提供了高性能、高可靠的存储系统，便于使用者及时的提取数据资料。3、该大数据多网融合科研一体机平台装置，Storm云储存系统提供的管理监控中心可以对每一个节点进行管理，包括设备运行状态、磁盘运行状态、服务在线情况以及异常告警等功能；另外，网管监控中心还提供有如FTP账户添加等客户端管理和配置工具，便于使用者及时的了解数据的实时状态，便于使用者对数据进行管理。附图说明图1为本专利技术系统原理图；图2为本专利技术Storm云储存系统的结构框图；图3为本专利技术cProc架构图具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参阅图1-2，本专利技术实施例提供一种大数据多网融合科研一体机平台装置，包括cProc云处理平台、应用层、虚拟资源层和立方数据库，cProc云处理平台分别与Storm云存储系统、HBase分布式数据库和HDFS分布式文件系统双向连接，cProc云处理平台还与大数据实验一体机双向连接，大数据实验一体机与分布式计算机双向连接。本专利技术中：cProc云处理平台搭建在云存储系统上，且cProc云处理平台为向业务层直接提供对外开发接口和数据传输接口的分布式数据处理平台，cProc云处理平台是一种处理海量数据的并行编程模型和计算框架，用于对大规模数据集的并行计算。cProc架构图如图3所示，cProc云处理平台是一种处理海量数据的高效分布式软硬件集合的云处理平台，该平台可以从TB乃至PB级的数据中挖掘出有用的信息，并对这些海量信息进行快捷、高效的处理，cProc云处理平台支持和关系数据库混合模式，绝大部分海量数据存放于分布式平台并进行分布式处理，少量实时性要求很高的数据存放于关系数据库，以满足支撑各种类型的业务需求，支持支撑查询、统计、分析业务；可支撑深度数据挖掘和商业智能分析业务，要求对标准SQL规范支持度达到50％以上，提供属性选择、分类预测、回归预测、聚类分析、关联分析、时间序列分析等数据挖掘算法，提供食品二维码扫描功能，能够对各类信息实现溯源，通过cProc云处理平台解析后，可以大大增加数据查询和检索等业务，可以让系统平台具备数据实时入库、实时查询、查询结果实时传输等优势，通过cProc对元数据进行分析之后，可以大大加快数据的查询和检索效率。本专利技术中：HDFS分布式文件系统由为其提供元数据服务NameNode和提供存储块的DataNode构成，HDFS分布式文件系统是开源云处理平台Hadoop框架的底层实现部分，适合运行在通用硬件上的分布式本文档来自技高网...

【技术保护点】
1.一种大数据多网融合科研一体机平台装置，包括cProc云处理平台、应用层、虚拟资源层和立方数据库，其特征在于：所述cProc云处理平台分别与Storm云存储系统、HBase分布式数据库和HDFS分布式文件系统双向连接，所述cProc云处理平台还与大数据实验一体机双向连接，所述大数据实验一体机与分布式计算机双向连接；所述Storm云存储系统包括管理监控中心，所述管理监控中心分别与元数据管理服务器、数据存储节点服务器和客户端双线连接；所述管理监控中心包括配置中心和监控中心，所述配置中心包括卷配置、节点参数配置、存储参数配置、用户配额管理、QoS管理和告警装置，所述监控中心包括存储空间监控、设备状态监控、程序状态监控、硬盘状态监控、流量监控和全面警告；所述HBase分布式数据库和立方数据库构成管理层，且管理层分别与处理层和存储层连接，存储层由Storm云存储系统和HDFS分布式文件系统构成，处理层由MapReduce引擎组成，处理层还与业务层连接。

【技术特征摘要】
1.一种大数据多网融合科研一体机平台装置，包括cProc云处理平台、应用层、虚拟资源层和立方数据库，其特征在于：所述cProc云处理平台分别与Storm云存储系统、HBase分布式数据库和HDFS分布式文件系统双向连接，所述cProc云处理平台还与大数据实验一体机双向连接，所述大数据实验一体机与分布式计算机双向连接；所述Storm云存储系统包括管理监控中心，所述管理监控中心分别与元数据管理服务器、数据存储节点服务器和客户端双线连接；所述管理监控中心包括配置中心和监控中心，所述配置中心包括卷配置、节点参数配置、存储参数配置、用户配额管理、QoS管理和告警装置，所述监控中心包括存储空间监控、设备状态监控、程序状态监控、硬盘状态监控、流量监控和全面警告；所述HBase分布式数据库和立方数据库构成管理层，且管理层分别与处理层和存储层连接，存储层由Storm云存储系统和HDFS分布式文件系统构成，处理层由MapReduce引擎组成，处理层还与业务层连接。2.根据权利要求1所述的大数据多网融合科研一体机平台装置，其特征在于：所述cProc云处理平台搭建在云存储系统上，且cProc云处理平台为向业务层直接提供对外开发接口和数据传输接口的分布...

【专利技术属性】
技术研发人员：郑建平，杨晓红，
申请(专利权)人：江苏云创融合信息科技有限公司，
类型：发明
国别省市：江苏,32