【技术实现步骤摘要】
本公开涉及人工智能，具体的涉及分布式，更具体地涉及一种分布式数据库集群资源管理方法、装置、设备、存储介质和程序产品。
技术介绍
1、金融领域的大数据平台的构建常基于多套mpp(massively parallelprocessing)分布式数据库集群，每套集群专注于特定的业务主题，如数据仓库、监管报送、绩效考核等。这些平台的主要特点是高度的数据并行处理能力和复杂的数据处理需求。在这种环境中，数据库集群的性能和资源管理显得尤为重要，而有效管理需要基于精准的负载预测。因此在大数据批量加工场景下，如何针对分布式数据库集群进行负载预测成为亟需解决的技术问题。
2、需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
1、鉴于上述问题，本公开提供了一种提高集群资源利用率、增强系统稳定性的分布式数据库集群资源管理方法、装置、设备、存储介质和程序产品。
2、根据本公开的第一个方面，提供了一种分布式数据库集群资源管理方法，所述方法包括：
3、实时采集分布式数据库集群目标数据；
4、对所述目标数据进行数据预处理，以生成时间序列数据；
5、将所述时间序列数据输入集群负载预测模型中，以输出预测负载数据，其中，所述集群负载预测模型为长短期记忆网络模型，所述长短期记忆网络模型是基于集群资源历史数据预先训练得到的；以及
6、基于所述预测负载数据
7、根据本公开的实施例，在将所述时间序列数据输入集群负载预测模型中，以输出预测负载数据之前，还包括预先训练得到集群负载预测模型，具体包括：
8、确定长短期记忆网络模型初始网络结构和超参数；
9、使用集群资源历史数据训练所述长短期记忆网络模型；
10、在验证集和测试集上评估所述长短期记忆网络模型得到评估数据；以及
11、重复上述操作直至所述评估数据满足预设条件。
12、根据本公开的实施例，所述实时采集分布式数据库集群目标数据包括：
13、分别从分布式数据库集群、调度系统和监控组件收集关键性能指标，其中，所述关键性能指标包括系统资源使用数据、数据库语句资源消耗数据、平均响应时间和调度系统任务并发数。
14、根据本公开的实施例，所述对所述目标数据进行数据预处理，以生成时间序列数据包括：
15、在对所述目标数据进行数据清洗后进行数据归一化；
16、提取所述目标数据的时间特征；以及
17、将归一化的数据按照时间序列格式生成时间序列数据。
18、根据本公开的实施例，所述基于所述预测负载数据对分布式数据库集群资源进行动态调整包括：
19、根据预设决策算法、所述预测负载数据和当前系统状态确定资源配置方案；以及
20、根据所述资源配置方案对分布式数据库集群资源进行动态调整。
21、根据本公开的实施例，所述方法还包括：
22、在对分布式数据库集群资源进行动态调整后，收集反馈参数指标；以及
23、根据所述反馈参数指标对模型算法进行优化。
24、根据本公开的实施例，所述反馈参数指标包括资源使用效率、系统响应时间、任务完成率和延迟率和系统稳定性指标，所述根据所述反馈参数指标对模型算法进行优化包括：
25、根据反馈参数指标调整长短期记忆网络模型的参数；以及
26、根据反馈参数指标对所述预设决策算法进行优化。
27、本公开的第二方面提供了一种分布式数据库集群资源管理装置，所述装置包括：
28、采集模块，用于实时采集分布式数据库集群目标数据；
29、数据预处理模块，用于对所述目标数据进行数据预处理，以生成时间序列数据；
30、负载预测模块，用于将所述时间序列数据输入集群负载预测模型中，以输出预测负载数据，其中，所述集群负载预测模型为长短期记忆网络模型，所述长短期记忆网络模型是基于集群资源历史数据预先训练得到的；以及
31、动态调整模块，用于基于所述预测负载数据对分布式数据库集群资源进行动态调整。
32、根据本公开的实施例，所述装置还包括：集群负载预测模型训练模块，用于预先训练得到集群负载预测模型。
33、根据本公开的实施例，所述集群负载预测模型训练模块包括：第一确定子模块、训练子模块和模型评估子模块。
34、第一确定子模块，用于确定长短期记忆网络模型初始网络结构和超参数；
35、训练子模块，用于使用集群资源历史数据训练所述长短期记忆网络模型；
36、模型评估子模块，用于在验证集和测试集上评估所述长短期记忆网络模型得到评估数据；重复上述操作直至所述评估数据满足预设条件。
37、根据本公开的实施例，采集模块包括采集子模块。
38、采集子模块，用于分别从分布式数据库集群、调度系统和监控组件收集关键性能指标，其中，所述关键性能指标包括系统资源使用数据、数据库语句资源消耗数据、平均响应时间和调度系统任务并发数。
39、根据本公开的实施例，所述数据预处理模块包括数据清洗子模块、特征提取子模块和生成子模块。
40、数据清洗子模块，用于在对所述目标数据进行数据清洗后进行数据归一化；
41、特征提取子模块，用于提取所述目标数据的时间特征；以及
42、生成子模块，用于将归一化的数据按照时间序列格式生成时间序列数据。
43、根据本公开的实施例，所述动态调整模块包括第二确定子模块和调整子模块。
44、第二确定子模块，用于根据预设决策算法、所述预测负载数据和当前系统状态确定资源配置方案；以及
45、调整子模块，用于根据所述资源配置方案对分布式数据库集群资源进行动态调整。
46、根据本公开的实施例，所述装置还包括：反馈模块和模型算法优化模块。
47、反馈模块，用于在对分布式数据库集群资源进行动态调整后，收集反馈参数指标；以及
48、模型算法优化模块，用于根据所述反馈参数指标对模型算法进行优化。
49、根据本公开的实施例，所述模型算法优化模块包括调整子模块和优化子模块，
50、调整子模块，用于根据反馈参数指标调整长短期记忆网络模型的参数；以及
51、优化子模块，用于根据反馈参数指标对所述预设决策算法进行优化。
52、本公开的第三方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得一个或多个处理器执行上述分布式数据库集群资源管理方法。
53、本公开的第四方面还提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处本文档来自技高网...
【技术保护点】
1.一种分布式数据库集群资源管理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，在将所述时间序列数据输入集群负载预测模型中，以输出预测负载数据之前，还包括预先训练得到集群负载预测模型，具体包括：
3.根据权利要求1所述的方法，其特征在于，所述实时采集分布式数据库集群目标数据包括：
4.根据权利要求3所述的方法，其特征在于，所述对所述目标数据进行数据预处理，以生成时间序列数据包括：
5.根据权利要求1所述的方法，其特征在于，所述基于所述预测负载数据对分布式数据库集群资源进行动态调整包括：
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
7.根据权利要求6所述的方法，其特征在于，所述反馈参数指标包括资源使用效率、系统响应时间、任务完成率和延迟率和系统稳定性指标，所述根据所述反馈参数指标对模型算法进行优化包括：
8.一种分布式数据库集群资源管理装置，其特征在于，所述装置包括：
9.一种电子设备，包括：
10.一种计算机可读存储介质，其上存储
11.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现根据权利要求1～7中任一项所述方法的步骤。
...【技术特征摘要】
1.一种分布式数据库集群资源管理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，在将所述时间序列数据输入集群负载预测模型中，以输出预测负载数据之前，还包括预先训练得到集群负载预测模型，具体包括：
3.根据权利要求1所述的方法，其特征在于，所述实时采集分布式数据库集群目标数据包括：
4.根据权利要求3所述的方法，其特征在于，所述对所述目标数据进行数据预处理，以生成时间序列数据包括：
5.根据权利要求1所述的方法，其特征在于，所述基于所述预测负载数据对分布式数据库集群资源进行动态调整包括：
6.根据权利要求5所述的方法，其特征在...
【专利技术属性】
技术研发人员：雷经纬，徐嘉禛，于子烨，罗响，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。