大数据集群的配置方法、大数据平台的对接方法技术

本申请提出一种大数据集群的配置方法、大数据平台的对接方法，其中，大数据集群的配置方法包括：通过获取待对接平台对应的配置文件，实现基于配置文件生成大数据集群的集群配置信息，其中，大数据集群用于数据处理服务，从而基于集群配置信息，对大数据集群包含的集群组件进行配置。由于可以基于待对接平台对应的配置文件生成大数据集群的集群配置信息，并基于该集群配置信息对大数据集群包含的集群组件进行配置，从而可以在首次对接时，通过生成集群配置信息保存与所述待对接平台的配置过程，在后续对接时只需所述集群配置信息即可完成对接，简化了大数据平台对接复杂度，降低了人工投入成本。人工投入成本。人工投入成本。

【技术实现步骤摘要】
大数据集群的配置方法、大数据平台的对接方法


[0001]本申请涉及大数据
，尤其涉及大数据集群的配置方法、大数据平台的对接方法。

技术介绍

[0002]随着大数据技术的不断更新迭代，上层应用使用大数据平台运行计算任务时，对于不同厂商的大数据平台往往需要进行差异化处理，即需要对大数据平台的每个组件的多个配置文件内容进行参数修改、比对的工作。

技术实现思路

[0003]本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
[0004]为此，本申请的第一个目的在于提出一种大数据集群的配置方法。该方法可以基于待对接平台对应的配置文件生成大数据集群的集群配置信息，并基于该集群配置信息对大数据集群包含的集群组件进行配置，从而可以在首次对接时，通过生成集群配置信息保存与所述待对接平台的配置过程，在后续对接时只需所述集群配置信息即可完成对接，简化了大数据平台对接复杂度，降低了人工投入成本。
[0005]本申请的第二个目的在于提出一种大数据平台的对接方法。
[0006]本申请的第三个目的在于提出一种大数据集群的配本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大数据集群的配置方法，其特征在于，包括：获取待对接平台对应的配置文件；基于所述配置文件生成大数据集群的集群配置信息；所述大数据集群用于数据处理服务；基于所述集群配置信息，对所述大数据集群包含的集群组件进行配置。2.根据权利要求1所述的方法，其特征在于，所述基于所述配置文件生成大数据集群的集群配置信息，包括：依据所述待对接平台对应的配置文件中的配置项，替换应用程序的配置文件中对应的配置项，以得到所述大数据集群的集群配置信息。3.根据权利要求2所述的方法，其特征在于，所述配置项为键值对形式；其中，所述键值对中的键用于指示所述大数据集群中的组件；所述键值对中的值用于指示调用端口。4.根据权利要求1
‑
3任一项所述的方法，其特征在于，所述方法还包括：获取所述待对接平台对应的认证信息；所述基于所述集群配置信息，对所述大数据集群包含的集群组件进行配置，包括：响应于用户操作，基于所述集群配置信息，向所述大数据集群发送所述认证信息和待配置组件的目标资源的信息，以使所述大数据集群对所述认证信息通过的情况下，依据所述目标资源的信息在所述大数据集群创建并配置组件的所述目标资源。5.根据权利要求4所述的方法，其特征在于，所述待配置组件的目标资源的信息包括下列中的至少一个：HDFS组件的存储目录的位置；所述HDFS组件的存储目录的存储空间上限；YARN组件的计算资源队列可使用的计算资源上限；HIVE组件的数据库表的存储空间上限。6.根据权利要求1
‑
5任一项所述的方法，其特征在于，所述获取待对接平台对应的配置文件，包括：响应于选择操作，确定所述待对接平台的类型和/或版本信息；根据所述类型和/或版本信息，从预先存储的配置文件中，确定所述待对接平台对应的配置文件。7.一种大数据平台的对接方法，其特征在于，包括：获取与待对接平台对应的集群配置信息；所述集群配置信息基于权利要求1
‑
6任一项所述的大数据集群的配置方法生成；基于所述集群配置信息对接所述大数据集群包含的集群组件，完成与所述待对接平台的对接。8.根据权利要求7所述的方法，其特征在于，所述基于所述集群配置信息对接所述大数据集群包含的集群组件，完成与所述待对接平台的对接，包括：...

【专利技术属性】
技术研发人员：张宝霖，李云锋，
申请(专利权)人：杭州数梦工场科技有限公司，
类型：发明
国别省市：