【技术实现步骤摘要】
一种大数据集群的部署方法、数据交互方法及对应装置
本专利技术涉及信息
，尤其涉及一种大数据集群的部署方法、数据交互方法及对应装置。
技术介绍
集群(Cluster)是由一组计算机设备构成的一种松散耦合的计算节点集合，作为整体向对外提供统一的服务平台，在用户看来，集群就像是一个服务器。集群提供服务时，可以把任务分到多台计算机设备上，利用这些计算机设备的共同资源来完成任务，从而可以解决单机不能胜任的工作。并且，由于采用了多节点的设计，集群具有较高的容错性和可靠性。由于大数据计算平台的运行需要较高的计算能力支撑，因而目前的大数据计算平台往往部署在集群上，而大数据计算平台产生的计算结果通常是存储到大数据计算平台提供的HIVE数据仓库或HBase数据库。现有技术中，从HIVE数据仓库或HBase数据库将计算结果导出以用于使用的过程中，受限于网络带宽的限制和集群系统的运行速度，往往需要耗费大量的时间。
技术实现思路
本专利技术实施例提供一种大数据集群的部署方法、数据交互方法及对应装置，用以解决现有技术中使用大数据计算平台的计算结果，需要受限于各种因素所以耗时较长的技术问题。...
【技术保护点】
1.一种大数据集群的部署方法，应用于一集群，其特征在于，所述方法包括：基于获得的安装指令，在所述集群本地安装Greenplum数据库系统和大数据计算平台；基于获得的配置指令，确定所述Greenplum数据库系统存储计算结果的位置为所述集群本地，以及确定所述大数据计算平台读取数据的位置为所述集群本地，以使得所述Greenplum数据库系统和所述大数据计算平台基于所述集群本地存储的内容实现数据共享。
【技术特征摘要】
1.一种大数据集群的部署方法，应用于一集群，其特征在于，所述方法包括：基于获得的安装指令，在所述集群本地安装Greenplum数据库系统和大数据计算平台；基于获得的配置指令，确定所述Greenplum数据库系统存储计算结果的位置为所述集群本地，以及确定所述大数据计算平台读取数据的位置为所述集群本地，以使得所述Greenplum数据库系统和所述大数据计算平台基于所述集群本地存储的内容实现数据共享。2.如权利要求1所述的方法，其特征在于，基于获得的配置指令，确定所述Greenplum数据库系统存储计算结果的位置为所述集群本地，以及确定所述大数据计算平台读取数据的位置为所述集群本地，包括：通过所述Greenplum数据库系统，在所述集群中创建第一数据表，并确定所述Greenplum数据库系统从所述第一数据表读取数据的方式为与预设存储格式对应的读取方式；确定所述大数据计算平台存储计算结果的位置为所述第一数据表，以及确定所述大数据计算平台存储计算结果的格式为所述预设存储格式，以使得所述Greenplum数据库系统可以从所述第一数据表读取所述计算结果进行展示。3.如权利要求1所述的方法，其特征在于，基于获得的配置指令，确定所述Greenplum数据库系统存储计算结果的位置为所述集群本地，以及确定所述大数据计算平台读取数据的位置为所述集群本地，包括：使用所述Greenplum数据库系统中用于创建外部表的语句模式，在所述集群中创建第一数据表；确定所述Greenplum数据库系统使用的集群地址为本地location；确定所述Greenplum数据库系统读取数据的方式为与预设存储格式对应的读取方式；确定所述大数据平台存储计算结果的位置为所述第一数据表，以及确定所述大数据计算平台存储计算结果的格式为所述预设存储格式，以使得所述Greenplum数据库系统可以从所述第一数据表读取所述计算结果进行展示。4.一种大数据集群的数据交互方法，其特征在于，所述集群中安装有Greenplum数据库系统和大数据计算平台，所述方法包括：将所述大数据计算平台的计算结果以预设存储格式存储至第一数据表，其中，所述第一数据表由所述Greenplum数据库系统在所述集群本地创...
【专利技术属性】
技术研发人员：陈益梦，范钢，唐晨阳，田宜喜，张玉魁，宋颖，
申请(专利权)人：航天信息股份有限公司，
类型：发明
国别省市：北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。