一种基于分布式系统的资源配置优化方法技术方案

本说明书实施例提供了一种基于分布式系统的资源配置优化方法。该方法包括：获取计算任务的历史运行状态，计算任务由分布式系统进行计算，分布式系统包括多个计算节点，历史运行状态包括历史策略以及对应的性能指标，历史策略用于配置至少一个计算节点的资源，性能指标用于反映在历史策略的应用期间分布式系统在运行计算任务时的性能；基于历史运行状态构造提示词，并将提示词输入大语言模型，得到资源配置策略，提示词用于提示大语言模型在约束条件下以优化计算任务的目标指标为优化目标生成资源配置策略，该资源配置策略用于配置至少一个计算节点的资源。

【技术实现步骤摘要】

本说明书实施例涉及计算机，具体地，涉及一种基于分布式系统的资源配置优化方法。

技术介绍

1、在大数据的技术背景下，针对大规模数据使用分布式系统进行处理各类型计算任务日益频繁。当前分布式系统中运行的计算任务经常面临资源配置不当的问题，当计算任务的资源配置不足时，可能导致计算时出现oom(out of memory，内存溢出错误)，该计算任务的计算性能低下，而当计算任务资源配置过量时，则会导致当前计算任务的资源利用率低下，分布式系统中其他需要处理的计算任务所能使用的集群资源则非常紧张，只能处于等待序列，使得整个分布式系统的整体效率很低。

2、因此，当前亟需一种对分布式系统的资源配置进行自动优化的方法。

技术实现思路

1、本说明书实施例提供了一种基于分布式系统的资源配置优化方案，能通过大语言模型生成分布式系统的资源配置策略，有效利用集群的计算资源。

2、第一方面，本说明书实施例提供了一种基于分布式系统的资源配置优化方法，包括：获取计算任务的历史运行状态，所述计算任务由分布式系统进行计算，所述本文档来自技高网...

【技术保护点】

1.一种基于分布式系统的资源配置优化方法，其中，包括：

2.根据权利要求1所述的方法，其中，所述资源配置策略用于配置以下至少一项资源：所述计算节点的数目，所述计算节点的中央处理器CPU数量，所述计算节点的内存容量。

3.根据权利要求1所述的方法，其中，所述性能指标包括以下至少一项：所述计算节点的最大资源使用率，所述计算节点的最小资源使用率，所述计算节点的平均资源使用率，所述计算任务的平均资源使用率，所述计算任务的计算速度；其中，所述资源为CPU和/或内存资源。

4.根据权利要求1所述的方法，其中，所述目标指标为所述计算任务的资源使用率和/或所述计算任务...

【技术特征摘要】

1.一种基于分布式系统的资源配置优化方法，其中，包括：

2.根据权利要求1所述的方法，其中，所述资源配置策略用于配置以下至少一项资源：所述计算节点的数目，所述计算节点的中央处理器cpu数量，所述计算节点的内存容量。

3.根据权利要求1所述的方法，其中，所述性能指标包括以下至少一项：所述计算节点的最大资源使用率，所述计算节点的最小资源使用率，所述计算节点的平均资源使用率，所述计算任务的平均资源使用率，所述计算任务的计算速度；其中，所述资源为cpu和/或内存资源。

4.根据权利要求1所述的方法，其中，所述目标指标为所述计算任务的资源使用率和/或所述计算任务的计算速度。

5.根据权利要求1所述的方法，其中，所述提示词还包括：样本示例，所述样本示例用于向所述大语言模型提供输入和输出示例；和/或，思维链先验知识提示，所述思维链先验知识提示用于向所述大语言模型提供所述计算任务的资源配置经验。

6.根据权利要求5所述的方法，其中，所述样本示例包括以下至少一种示例：

7.根据权利要求5所述的方法，其中，所述基于所述历史运行状态构造提示词，包括：

8.根据权利要求1所述的方法，其中，所述获取计算任务的历史运行状态，包括：

9.根据权利要求1所述的方法，其中，在所述获取计算任务的历史运行状态之前，所述方法还包括：

【专利技术属性】
技术研发人员：缪文龙，蒋佳弟，叶至灵，岳赟，沙剑，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：