一种基于MADDPG算法的混合式云资源弹性伸缩系统及运行方法技术方案

本发明专利技术涉及一种基于MADDPG算法的混合式云资源弹性伸缩系统及运行方法，属于云计算领域，所述系统包括集群负载监控中心模块、MADDPG决策中心设计模块，云资源调控中心模块和下游接口对接模块，MADDPG决策中心模块有基于MADDPG算法的多智能体强化学习模型；MADDPG决策中心设计模块与集群负载监控中心模块、MADDPG决策中心设计模块有信号连接，云资源调控中心模块与下游接口对接模块有信号连接。本发明专利技术云资源弹性伸缩系统可以智能地适应复杂和动态的环境，以较短的响应时间，及时提供足够的资源满足应用程序的需求。并且在满足性能需求的同时降低云服务商运营成本。需求的同时降低云服务商运营成本。需求的同时降低云服务商运营成本。

【技术实现步骤摘要】
一种基于MADDPG算法的混合式云资源弹性伸缩系统及运行方法


[0001]本专利技术属于云计算领域，具体的涉及一种基于MADDPG算法的混合式云资源弹性伸缩系统及运行方法。

技术介绍

[0002]云资源弹性伸缩可以根据实时的负载情况自动增加或减少计算资源。当负载增加时，弹性伸缩可以自动扩展资源，以确保应用程序的性能和可用性不受影响。当负载减少时，它可以自动缩减资源，以减少资源浪费和成本。云资源弹性伸缩包括水平弹性伸缩和垂直弹性伸缩，如图1所示。
[0003]水平弹性伸缩是云计算中的一种资源管理策略，它允许根据应用程序的需求自动增加或减少计算资源的数量。这种弹性伸缩策略旨在应对负载的变化，确保应用程序始终具有足够的资源来满足用户需求。当负载增加时，水平弹性伸缩会自动增加计算资源的数量。例如，在虚拟化环境中，可以通过启动更多的虚拟机实例或容器来增加计算能力。在分布式系统中，可以增加更多的服务器节点来扩展资源。这样可以确保应用程序能够处理更多的请求，并提供更好的性能。负载均衡在水平弹性伸缩中起着重要的作用。负载均衡器将请求流量分发到多个实例上，确保每个实例的负载均衡，避免任何一个实例过载。通过负载均衡，可以提高应用程序的可伸缩性和可用性，同时确保用户请求得到及时的处理。弹性伸缩组是实现水平弹性伸缩的常见机制，它是一组虚拟机实例或容器的集合，它们共同提供服务。弹性伸缩组负责根据负载情况自动调整实例数量，确保集群中的实例数始终满足需求。通过弹性伸缩组，系统可以实现高可用性和弹性，即使某个实例失败，也可以自动替换它，确保应用程序的连续性。
[0004]垂直弹性伸缩是一种在云计算中常用的资源管理策略。它允许根据应用程序的需求动态地调整单个计算资源的配置，以适应不同的工作负载。当负载增加时，垂直弹性伸缩可以通过增加资源的配置来提高计算能力。例如，可以增加虚拟机实例的内存或CPU核心数，以满足更高的性能需求。这样可以确保应用程序能够处理更多的请求，并保持良好的响应时间。相反，当负载减少时，垂直弹性伸缩可以通过减少资源的配置来降低成本。例如，可以减少虚拟机实例的内存或CPU核心数，以避免资源的浪费。这种灵活的资源调整能够根据实际需求进行动态的配置变更。垂直弹性伸缩是一种根据应用程序的需求调整单个计算资源配置的资源管理策略。它可以提高应用程序的性能和可用性，并在负载波动时实现资源的有效利用。
[0005]云计算的快速发展为现代信息技术提供了强大的支持和基础设施。弹性伸缩作为云计算中关键的资源管理策略，旨在根据实时负载需求调整云资源的数量和规模，以满足用户的需求并提供最佳的性能和资源利用率。然而，传统的弹性伸缩方法在面对复杂和动态的环境时面临一些挑战，例如缺乏对不确定性和动态性的适应能力。

技术实现思路

[0006]针对上述技术问题，本专利技术提出了一种基于MADDPG(Multi
‑
Agent Deep Deterministic Policy Gradient)算法的混合式云资源弹性伸缩系统及运行方法，用于云资源水平与垂直混合式弹性伸缩系统的优化，本专利技术云资源弹性伸缩系统可以智能地适应复杂和动态的环境，以较短的响应时间，及时提供足够的资源满足应用程序的需求。并且在满足性能需求的同时降低云服务商运营成本。
[0007]本专利技术是通过如下技术方案来实现的：一种基于MADDPG算法的混合式云资源弹性伸缩系统，所述系统包括集群负载监控中心模块、MADDPG决策中心设计模块，云资源调控中心模块和下游接口对接模块，MADDPG决策中心模块有基于MADDPG算法的多智能体强化学习模型；MADDPG决策中心设计模块与集群负载监控中心模块、MADDPG决策中心设计模块有信号连接，云资源调控中心模块与下游接口对接模块有信号连接。
[0008]进一步，所述的MADDPG决策中心设计模块中采用了智能体分组模式，分为水平伸缩智能体组与垂直伸缩智能体组，其中水平伸缩智能体组只负责水平弹性伸缩，垂直伸缩智能体组只负责垂直弹性伸缩。
[0009]进一步，所述集群负载监控中心模块能够实现CPU负载监测、GPU负载监测、内存负载监测、存储负载监测和网络负载监测。
[0010]进一步，所述的MADDPG决策中心设计模块包括环境建模，所述环境建模包括状态空间设计、动作空间设计、奖励函数设计和多智能体设计。
[0011]进一步，所述云资源调控中心模块的功能包括虚拟机CPU扩容与缩容、虚拟机GPU扩容与缩容、虚拟机内存扩容与缩容、虚拟机存储扩容与缩容、虚拟网络储扩容与缩容和增加与减少虚拟机数量。
[0012]进一步，所述的下游接口对接模块将各云平台的包括认证与鉴权接口、API调用和数据交互接口、错误处理与异常情况处理接口、监控与同步接口在内的接口封装整合为一个通用云平台接口，实现跨平台接口调用。
[0013]本专利技术提供所述系统的运行方法，MADDPG决策中心模块内基于深度神经网络进行决策的多智能体通过观察环境进行动作决策，得到一组动作，同时执行这一组动作也会使云环境发生变化，这个变化向好的方向发展智能体就会得到正反馈，反之，如果向不好的方向发展会得到一个负反馈，智能体得到反馈后会进行学习与思考，优化动作决策策略；MADDPG决策中心模块首先通过调用集群负载监控中心模块的接口，对集群负载监控中心模块进行观测，进而获取当前集群负载监控中心模块内虚拟机的实时负载情况，进而通过深度强化学习进行动作决策，由于这一部分是多智能体协同决策，会形成一组动作集合，然后会调用云资源调控中心模块进行云资源水平弹性伸缩与垂直弹性伸缩；最后云资源调控中心模块会通过调用下游接口对接模块实现各平台API控制，在各个云平台上完成云资源的扩容与缩容。
[0014]进一步，深度强化学习训练过程采用了协同训练和经验回放机制，在每个时间步，每个智能体根据自己的Actor网络选择动作，并与环境模型交互；智能体的经验存储在共享的经验回放缓冲区中；然后，从经验回放缓冲区中随机采样一批经验，用于更新每个Actor和Critic网络的参数；更新过程中，各个Critic网络通过最小化与实际奖励之间的误差来
学习状态值函数，而各个Actor网络则通过最大化Critic网络估计的状态值函数来更新策略，这种协同学习和经验回放的结合，使得智能体能够在多智能体环境中协作并优化动作选择策略，达到协同决策的目标；进一步，所述的智能体分组模式：将所有虚拟机或容器分成N组，每组有M个实例，满M个实例的组为垂直伸缩智能体和不满M个实例的组为水平伸缩智能体。当水平伸缩智能体达到M个实例时，变成垂直伸缩智能体，同时添加一个空的水平伸缩智能体；反之当垂直伸缩智能体不足M个实例时，则变成水平伸缩智能体，通过限制M的大小使每个智能体的状态空间和动作空间都是确定的。
[0015]进一步，所述的集群负载监控中心模块的工作步骤如下：第一步、初始化程序，集群负载监控中心程序开始运行后进入监听状态，等待决策中心的指令，MADDPG决策中心向集群负载监控中心发送开始监听指令或结本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于MADDPG算法的混合式云资源弹性伸缩系统，其特征在于，所述系统包括集群负载监控中心模块、MADDPG决策中心设计模块，云资源调控中心模块和下游接口对接模块，MADDPG决策中心模块有基于MADDPG算法的多智能体强化学习模型；MADDPG决策中心设计模块与集群负载监控中心模块、MADDPG决策中心设计模块有信号连接，云资源调控中心模块与下游接口对接模块有信号连接。2.根据权利要求1所述的基于MADDPG算法的混合式云资源弹性伸缩系统，其特征在于，所述的MADDPG决策中心设计模块中采用了智能体分组模式，分为水平伸缩智能体组与垂直伸缩智能体组，其中水平伸缩智能体组只负责水平弹性伸缩，垂直伸缩智能体组只负责垂直弹性伸缩。3.根据权利要求1所述的基于MADDPG算法的混合式云资源弹性伸缩系统，其特征在于，所述集群负载监控中心模块能够实现CPU负载监测、GPU负载监测、内存负载监测、存储负载监测和网络负载监测。4.根据权利要求1所述的基于MADDPG算法的混合式云资源弹性伸缩系统，其特征在于，所述的MADDPG决策中心设计模块包括环境建模，所述环境建模包括状态空间设计、动作空间设计、奖励函数设计和多智能体设计。5.根据权利要求1所述的基于MADDPG算法的混合式云资源弹性伸缩系统，其特征在于，所述云资源调控中心模块的功能包括虚拟机CPU扩容与缩容、虚拟机GPU扩容与缩容、虚拟机内存扩容与缩容、虚拟机存储扩容与缩容、虚拟网络储扩容与缩容和增加与减少虚拟机数量。6.根据权利要求1所述的基于MADDPG算法的混合式云资源弹性伸缩系统，其特征在于，所述的下游接口对接模块将各云平台的包括认证与鉴权接口、API调用和数据交互接口、错误处理与异常情况处理接口、监控与同步接口在内的接口封装整合为一个通用云平台接口，实现跨平台接口调用。7.权利要求1
‑
6任何一项所述基于MADDPG算法的混合式云资源弹性伸缩系统的运行方法，其特征在于，MADDPG决策中心模块内基于深度神经...

【专利技术属性】
技术研发人员：魏志强，李宗儒，杨永全，
申请(专利权)人：中国海洋大学，
类型：发明
国别省市：