【技术实现步骤摘要】
本申请涉及大数据与金融科技领域，尤其涉及集群部署方法、装置、计算机设备及存储介质。
技术介绍
1、近些年来，数据湖技术在大数据领域的发展逐渐兴起，湖仓一体、批流一体成为主流的发展方向，使得数据湖技术在金融科技企业，例如保险企业、银行中的应用越来越广泛。目前，金融科技企业采用的普通生产集群的部署方案，通常是将数据湖集群的存储节点组与原有生产集群的存储节点组进行混合部署，且数据湖集群与原有生产集群使用同一个管理节点组进行管理。然而，数据湖接入过多的流式数据会生成大量的小文件，每个文件块的元数据信息都会加载到同一个管理节点组的物理机内存当中，生成大量的小文件会导致管理节点组出现巨大的运维压力以及较差的稳定性，例如出现管理节点组出现启动运维或宕机的情况。同时管理节点组的内存被小文件的元数据信息占用过多的话，则无法及时响应和处理来自集群内其他计算节点的请求，集群的可用性也会随之降低。
2、因此，现有的集群部署方案具有较高的生产风险，集群生产的可用性与稳定性较差。
技术实现思路
1、本申请实施例的目的在于提出一种集群部署方法、装置、计算机设备及存储介质，以解决现有的集群部署方案具有较高的生产风险，集群生成的可用性与稳定性较差的技术问题。
2、为了解决上述技术问题，本申请实施例提供一种集群部署方法，采用了如下所述的技术方案：
3、搭建预设的数据湖集群的第一管理节点组；
4、搭建所述数据湖集群的第一数据存储节点组；
5、部署预设的mysq
6、在原有生产集群的第二数据存储节点组的物理机上配置与所述mysql数据库对应的远程连接服务，并将所述第二数据存储节点组中的第一元数据信息存储至所述mysql数据库内；
7、确定与所述原有生产集群的所有第一节点组对应的第一metastore服务，并对所述第一metastore服务与所述mysql数据库建立连接；其中，所述第一节点组包括所述第二数据存储节点组以及所述原有生产集群的第二管理节点组；
8、在所述数据湖集群的第一数据存储节点组的物理机上配置与所述mysql数据库对应的远程连接服务，并将所述第一数据存储节点组中的第二元数据信息存储至所述mysql数据库内；
9、确定与所述数据湖集群的所有第二节点组对应的第二metastore服务，并将所述第二metastore服务与所述mysql数据库建立连接；其中，所述第二节点组包括所述第一数据存储节点组以及所述第一管理节点组。
10、进一步的，所述搭建预设的数据湖集群的第一管理节点组的步骤，具体包括：
11、获取与预设的第一计算性能需求对应的第一性能阈值；
12、获取计算性能大于所述第一性能阈值的第一物理机组；
13、基于所述第一物理机组搭建所述数据湖集群的第一管理节点组。
14、进一步的，所述搭建所述数据湖集群的第一数据存储节点组的步骤，具体包括：
15、获取与预设的第二计算性能需求对应的第二性能阈值；
16、获取计算性能小于所述第二性能阈值的第二物理机组；
17、基于所述第二物理机组搭建所述数据湖集群的第一数据存储节点组。
18、进一步的，所述确定与所述原有生产集群的所有第一节点组对应的第一metastore服务的步骤，具体包括：
19、获取所述原有生产集群的所述第一节点组对应的部署组件版本；
20、对所述部署组件版本进行评估得到对应的评估结果；
21、基于所述评估结果确定对应的指定metastore服务；
22、将所述指定metastore服务作为所述第一metastore服务。
23、进一步的，在所述搭建所述数据湖集群的第一数据存储节点组的步骤之后，还包括：
24、获取预设的映射服务构建策略；
25、基于所述映射服务构建策略，构建所述第一管理节点组与所述第一数据存储节点组之间的映射服务。
26、进一步的，在所述确定与所述数据湖集群的所有第二节点组对应的第二metastore服务，并将所述第二metastore服务与所述mysql数据库建立连接的步骤之后，还包括：
27、获取与所述第一metastore服务对应的第一metastore服务远程访问链接编号；
28、基于所述第一metastore服务远程访问链接编号，设置所述原有生产集群的所有第一节点组在所述mysql数据库中对应的第一metastore服务远程访问链接；
29、获取与所述第二metastore服务对应的第二metastore服务远程访问链接编号；
30、基于所述第二metastore服务远程访问链接编号，设置所述数据湖集群的所有第二节点组在所述mysql数据库中对应的第二metastore服务远程访问链接。
31、进一步的，在所述基于所述第二metastore服务远程访问链接编号，设置所述数据湖集群的所有第二节点组在所述mysql数据库中对应的第二metastore服务远程访问链接的步骤之后，还包括：
32、判断是否接收到用户触发的与目标metastore服务远程访问链接对应的数据计算请求；其中，所述目标metastore服务远程访问链接包括所述第一metastore服务远程访问链接或所述第二metastore服务远程访问链接，所述数据计算请求携带查询数据标识；
33、若是，从所述数据计算请求中提取出所述查询数据标识；
34、从所述mysql数据库中获取与所述查询数据标识对应的目标数据表数据；
35、将所述目标数据表数据加载至预设的内存中进行计算处理，得到对应的计算结果；
36、将所述计算结果推送给所述用户。
37、为了解决上述技术问题，本申请实施例还提供一种集群部署装置，采用了如下所述的技术方案：
38、第一搭建模块，用于搭建预设的数据湖集群的第一管理节点组；
39、第二搭建模块，用于搭建所述数据湖集群的第一数据存储节点组；
40、部署模块，用于部署预设的mysql数据库；
41、第一处理模块，用于在原有生产集群的第二数据存储节点组的物理机上配置与所述mysql数据库对应的远程连接服务，并将所述第二数据存储节点组中的第一元数据信息存储至所述mysql数据库内；
42、第二处理模块，用于确定与所述原有生产集群的所有第一节点组对应的第一metastore服务，并对所述第一metastore服务与所述mysql数据库建立连接；其中，所述第一节点组包括所述第二数据存储节点组以及所述原有生产集群的第二管理节点组；
43、第三处理模块，用于在所述数据湖集群的第一数据存储节点组的物理机上配置与所述mysql数据库对应的远程连接服务，并将所述第一数据存储节点组中的第二元数据本文档来自技高网...
【技术保护点】
1.一种集群部署方法，其特征在于，包括下述步骤：
2.根据权利要求1所述的集群部署方法，其特征在于，所述搭建预设的数据湖集群的第一管理节点组的步骤，具体包括：
3.根据权利要求1所述的集群部署方法，其特征在于，所述搭建所述数据湖集群的第一数据存储节点组的步骤，具体包括：
4.根据权利要求1所述的集群部署方法，其特征在于，所述确定与所述原有生产集群的所有第一节点组对应的第一MetaStore服务的步骤，具体包括：
5.根据权利要求1所述的集群部署方法，其特征在于，在所述搭建所述数据湖集群的第一数据存储节点组的步骤之后，还包括：
6.根据权利要求1所述的集群部署方法，其特征在于，在所述确定与所述数据湖集群的所有第二节点组对应的第二MetaStore服务，并将所述第二MetaStore服务与所述MySQL数据库建立连接的步骤之后，还包括：
7.根据权利要求6所述的集群部署方法，其特征在于，在所述基于所述第二MetaStore服务远程访问链接编号，设置所述数据湖集群的所有第二节点组在所述MySQL数据库中对应的第二M
8.一种集群部署装置，其特征在于，包括：
9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如权利要求1至7中任一项所述的集群部署方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至7中任一项所述的集群部署方法的步骤。
...【技术特征摘要】
1.一种集群部署方法，其特征在于，包括下述步骤：
2.根据权利要求1所述的集群部署方法，其特征在于，所述搭建预设的数据湖集群的第一管理节点组的步骤，具体包括：
3.根据权利要求1所述的集群部署方法，其特征在于，所述搭建所述数据湖集群的第一数据存储节点组的步骤，具体包括：
4.根据权利要求1所述的集群部署方法，其特征在于，所述确定与所述原有生产集群的所有第一节点组对应的第一metastore服务的步骤，具体包括：
5.根据权利要求1所述的集群部署方法，其特征在于，在所述搭建所述数据湖集群的第一数据存储节点组的步骤之后，还包括：
6.根据权利要求1所述的集群部署方法，其特征在于，在所述确定与所述数据湖集群的所有第二节点组对应的第二metastore服务，并将所述第二me...
【专利技术属性】
技术研发人员：易晓博，
申请(专利权)人：中国平安财产保险股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。