交互式统一大数据编程计算平台制造技术

本发明专利技术涉及大数据技术领域，公开了一种交互式统一大数据编程计算平台，包括：前端服务器、后端服务器、大数据集群和数据库服务器，所述前端服务器和后端服务器独立部署；所述前端服务器用于接收用户请求，并将用户请求发送至所述后端服务器；所述后端服务器用于将所述用户请求转发至大数据集群处理，并将大数据集群的处理结果返回至前端服务器，及将所述处理结果发送至数据库服务器存储；所述大数据集群包括：并行计算框架、分布式存储框架、分布式协调框架和分布式数据查询管理框架；数据库服务器用于储存用户数据以及所述处理结果。本发明专利技术解决了大数据集群较难搭建的问，降低了安装配置门槛，使得用户可以方便、快速的学习使用大数据技术。

【技术实现步骤摘要】
交互式统一大数据编程计算平台
本专利技术涉及大数据
，特别涉及一种交互式统一大数据编程计算平台。
技术介绍
随着大数据时代的到来，传统的数据处理方法已经不能满足日益增长的数据量了，现在的数据量每天能达到TB甚至PB级，在数据存储上就不同以往，必须采用分布式的存储，以采用保证数据的安全性和可用性，如果涉及到计算层，更是需要大量的计算资源。因此，在这个时代的迫切需求下，各种大数据技术层出不穷，从数据存储到数据查询，再到数据计算分析，每个阶段都有许多可用的技术框架，这对行业的发展起到了促进作用。但也导致了以下问题：选型困难、易用性不高、开发环境难以配置，这些问题也困扰着广大个人工作者或一些小型的公司。为了解决这些问题，很多公司开发出了自己的大数据框架，例如CDH的Hadoop发行版、阿里巴巴改进的Blink等。但是这些框架也有如下问题，要么是重量级框架，安装部署不便；要么没有原生的技术体验，用户难以理解掌握；而且用户难以获得一站式的大数据技术开发环境。为了解决这个问题，有些公司也开发出了大数据平台，可以在边学习边使用，但是都存在着一个通本文档来自技高网...

【技术保护点】
1.一种交互式统一大数据编程计算平台，其特征在于，包括：前端服务器、后端服务器、大数据集群和数据库服务器，所述前端服务器和后端服务器独立部署；/n所述前端服务器用于接收用户请求，并将用户请求发送至所述后端服务器；/n所述后端服务器用于将所述用户请求转发至大数据集群处理，并将大数据集群的处理结果返回至前端服务器，及将所述处理结果发送至数据库服务器存储；/n所述大数据集群包括：并行计算框架、分布式存储框架、分布式协调框架和分布式数据查询管理框架，用于根据所述用户请求执行相应地处理，并将处理结果返回至所述后端服务器，所述并行计算框架包括：MapReduce集群和Spark集群，所述分布式存储框架包括...

【技术特征摘要】
1.一种交互式统一大数据编程计算平台，其特征在于，包括：前端服务器、后端服务器、大数据集群和数据库服务器，所述前端服务器和后端服务器独立部署；
所述前端服务器用于接收用户请求，并将用户请求发送至所述后端服务器；
所述后端服务器用于将所述用户请求转发至大数据集群处理，并将大数据集群的处理结果返回至前端服务器，及将所述处理结果发送至数据库服务器存储；
所述大数据集群包括：并行计算框架、分布式存储框架、分布式协调框架和分布式数据查询管理框架，用于根据所述用户请求执行相应地处理，并将处理结果返回至所述后端服务器，所述并行计算框架包括：MapReduce集群和Spark集群，所述分布式存储框架包括：HDFS集群、Alluxio集群和HBase集群，所述分布式协调框架包括：Zookeeper集群，所述分布式数据查询管理框架包括：Hive集群和Presto集群；
数据库服务器用于储存用户数据以及所述处理结果。


2.如权利要求1所述的交互式统一大数据编程计算平台，其特征在于，对于Hive集群，开启hiveserver2和metastore以供远程连接。


3.如权利要求1所述的交互式统一大数据编程计算平台，其特征在于，对于Spark集群，统一使用SparkOnYarn模式部署，并且在Spark-default.xml中进行配置来开放S...

【专利技术属性】
技术研发人员：赵博，
申请(专利权)人：江苏鸿程大数据技术与应用研究院有限公司，
类型：发明
国别省市：江苏;32