【技术实现步骤摘要】
本申请涉及数据处理，具体涉及一种智能体训练方法、资源分配方法及装置。
技术介绍
1、通常而言，为了提高硬件资源利用率，将物理机作为多个虚拟计算实例的宿主机(host)，使得该虚拟计算实例共享同一物理机的硬件资源。其中，同一物理机上的不同虚拟计算实例在执行业务时，会争抢该物理机的硬件资源。由于虚拟计算实例的业务负载具有高度的动态性，不同时刻对硬件资源的需求量不同。特别是，当多个虚拟计算实例同时运行，对硬件资源的需求量更加多变，且难以预测。这导致物理机无序地为多个虚拟计算实例提供硬件资源。
2、硬件资源的无序提供，导致硬件资源得不到合理分配。例如，有的虚拟计算实例业务负载重，需要硬件资源多，而物理机为其提供的硬件资源较少，从而使得该虚拟计算实例所执行业务的服务质量(quality of service，qos)劣化。而有的虚拟计算实例负载较轻，需要硬件资源少，而物理机为其提供了较多的硬件资源，导致了硬件资源浪费。
技术实现思路
1、本申请实施例提供了一种智能体训练方法、资源分配方法及装置，可以最大程度地保障物理机上所有用户的用户体验，以及减少资源浪费。
2、第一方面，提供了一种训练智能体的方法，智能体的训练环境包括部署有多个虚拟计算实例的物理机，其中，物理机的资源被分配给多个虚拟计算实例，其中，虚拟计算实例利用分配到资源执行业务，智能体用于控制物理机的资源在多个虚拟计算实例之间的分配；该方法包括：在利用智能体控制物理机的资源在多个虚拟计算实例之间分配的情况下，获
3、本申请实施例提供的方法，可以根据物理机上多个虚拟计算实例所执行业务的整体服务质量，确定给与智能体的奖励，进而实现对智能体的训练，使得智能体能够学习到能够改善整体服务质量的资源分配策略，从而最大程度上保障了所有用户的用户体验，避免不必要的驱逐或杀死虚拟计算实例的操作，减少了资源浪费，保障了资源的利用率。
4、在一种可能的实现方式中，物理机的资源包括计算资源、存储资源、通信资源中的至少两种。
5、在该实现方式中，可以实使得智能体学习到能够同时在多个虚拟计算实例之间分配两种及以上的资源，使得这些资源同时得到合理分配，保障了共给虚拟计算实例的资源之间的相互匹配，从而进一步提升虚拟计算实例所执行业务的服务质量，以及减少了资源浪费。
6、在一种可能的实现方式中，多个虚拟计算实例包括多个虚拟计算实例集，虚拟计算实例集包括至少一个虚拟计算实例，智能体包括多个控制模块，多个控制模块和多个虚拟计算实例集一一对应；其中，利用智能体控制物理机的资源在多个虚拟计算实例之间分配包括：利用多个控制模块中的第一控制模块，控制分配给多个虚拟计算实例集中的第一虚拟计算实例集的资源，其中，第一控制模块对应第一虚拟计算实例集；朝着提升奖励的方向，训练智能体包括：当第一整体服务质量没有达到第一阈值时，指示多个控制模块中的第二控制模块，控制分配给多个虚拟计算实例集中的第二虚拟计算实例集的资源，其中，第二控制模块对应第二虚拟计算实例集；获取多个虚拟计算实例所执行业务的第二整体服务质量；当第二整体服务质量大于第一整体服务质量时，升高奖励。
7、在该实现方式中，采用有序循环管控机制，以虚拟计算实例集为粒度，逐步控制物理机的资源分配，有效解决了强化学习中状态空间与动作空间的维度爆炸问题，使得智能体的训练不局限于训练环境。也就是说，该实现方式在任何训练环境中都能够实现智能体的有效收敛。此外，该实现方式中，智能体的每次训练迭代仅需调整分配给某个虚拟计算实例集的资源，与物理机部署的虚拟计算实例的总数量无关，无需训练环境中虚拟计算实例的数量变化而需要修改相关参数，因此，该实现方式训练的智能体具有易用性和通用性，可以适用于部署了不同数量虚拟计算实例的物理机。
8、在一种可能的实现方式中，当升高后的奖励小于预设的奖励阈值时，朝着提升奖励的方向，训练智能体包括：调整第一控制模块中的参数，以更新第一控制模块对分配给第一虚拟计算实例集的资源的控制。
9、在该实现方式中，当完成一轮对多个虚拟计算实例集的资源调整之后，若奖励仍达不到奖励阈值，则先调整第一虚拟计算实例集对应的控制模块的参数，并改变智能体控制第一虚拟计算实例集的资源的策略，使得智能体学习如何合理控制第一虚拟计算实例集。
10、在一种可能的实现方式中，当升高后的奖励不小于预设的奖励阈值时，朝着提升奖励的方向，训练智能体包括：停止对智能体的训练。
11、在该实现方式中，当奖励达到奖励阈值时，说明智能体的资源分配策略已比较合理，可以提供训练智能体。
12、在一种可能的实现方式中，在利用智能体控制物理机的资源在多个虚拟计算实例之间分配之前，第一虚拟计算实例集所执行业务的服务质量小于其他虚拟计算实例集所执行业务的服务质量，其中，其他虚拟计算实例集为多个虚拟计算实例集中除第一虚拟计算实例集之外的虚拟计算实例集。
13、在该实现方式中，在逐步调整虚拟计算实例集时，可以先从所执行业务的服务质量较小的开始，从而可以尽快改善多个虚拟计算实例所执行业务的整体服务质量，尽快完成智能体的收敛。
14、在一种可能的实现方式中，获取多个虚拟计算实例执行业务的第一整体服务质量包括：基于多个虚拟计算实例中每个虚拟计算实例所执行业务的服务质量，得到第一整体服务质量。
15、在一种可能的实现方式中，该方法还包括：监控多个虚拟计算实例中每个虚拟计算实例的内核指标；基于虚拟计算实例的内核指标，得到虚拟计算实例所执行业务的服务质量。
16、在该实现方式中，可以利用虚拟计算实例的内核指标，得到虚拟计算实例所执行业务的服务质量，从而在无需获取用户业务层面的信息的情况下，得到业务的服务质量。由此，使得本申请的方案可以应用到公有云以及混合云等场景。
17、在一种可能的实现方式中，该方法包括：在利用智能体控制物理机的资源在多个虚拟计算实例之间分配的情况下，获取物理机的资源的利用率；基于第一整体服务质量，得到给予智能体的奖励包括：基于第一整体服务质量和利用率，得到奖励；其中，奖励与第一整体服务质量正相关，且与利用率正相关。
18、在该实现方式中，物理机的资源的利用率也参与到对智能体的训练，使得智能体学习到同时提升资源利用率和所有用户的业务的服务质量的资源分配策略。
19、第二方面，提供了一种资源分配方法，方法应用于部署有多个虚拟计算实例的物理机，其中，物理机的资源被分配给多个虚拟计算实例，其中，虚拟计算实例利用分配到资源执行业务；该方法包括：获取多个虚拟机执行业务的第一整体服务质量；当第一整体服务质量低于预设的质量阈值时，利用智能体控制物理机的资源在多个虚拟计算实例之间本文档来自技高网...
【技术保护点】
1.一种训练智能体的方法，其特征在于，所述智能体的训练环境包括部署有多个虚拟计算实例的物理机，其中，所述物理机的资源被分配给所述多个虚拟计算实例，其中，所述虚拟计算实例利用分配到资源执行业务，所述智能体用于控制所述物理机的资源在所述多个虚拟计算实例之间的分配；
2.根据权利要求1所述方法，其特征在于，所述物理机的资源包括计算资源、存储资源、通信资源中的至少两种。
3.根据权利要求1或2所述的方法，其特征在于，所述多个虚拟计算实例包括多个虚拟计算实例集，所述虚拟计算实例集包括至少一个虚拟计算实例，所述智能体包括多个控制模块，所述多个控制模块和所述多个虚拟计算实例集一一对应；其中，
4.根据权利要求3所述的方法，其特征在于，当所述升高后的所述奖励小于预设的奖励阈值时，所述朝着提升所述奖励的方向，训练所述智能体包括：调整所述第一控制模块中的参数，以更新所述第一控制模块对分配给所述第一虚拟计算实例集的资源的控制。
5.根据权利要求3所述的方法，其特征在于，当所述升高后的所述奖励不小于预设的奖励阈值时，所述朝着提升所述奖励的方向，训练所述智能
6.根据权利要求3-5任一项所述的方法，其特征在于，在利用所述智能体控制所述物理机的资源在所述多个虚拟计算实例之间分配之前，所述第一虚拟计算实例集所执行业务的服务质量小于其他虚拟计算实例集所执行业务的服务质量，其中，所述其他虚拟计算实例集为所述多个虚拟计算实例集中除所述第一虚拟计算实例集之外的虚拟计算实例集。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述获取所述多个虚拟计算实例执行业务的第一整体服务质量包括：
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
9.根据权利要求1-8任一项所述的方法，其特征在于，
10.一种资源分配方法，其特征在于，所述方法应用于部署有多个虚拟计算实例的物理机，其中，所述物理机的资源被分配给所述多个虚拟计算实例，其中，所述虚拟计算实例利用分配到资源执行业务；
11.根据权利要求10所述的方法，其特征在于，所述多个虚拟计算实例包括第一虚拟计算实例集，所述第一虚拟计算实例集包括至少一个虚拟计算实例，所述智能体包括多个控制模块；
12.根据权利要求11所述的方法，其特征在于，所述多个虚拟计算实例还包括第二虚拟计算实例集，所述第二虚拟计算实例集包括至少一个虚拟计算实例；
13.根据权利要求12所述的方法，其特征在于，在所述利用智能体控制所述物理机的资源在所述多个虚拟计算实例之间的分配之前，所述第一虚拟计算实例集所执行业务的服务质量小于所述第二虚拟计算实例集所执行业务的服务质量。
14.一种智能体训练装置，其特征在于，所述智能体的训练环境包括部署有多个虚拟计算实例的物理机，其中，所述物理机的资源被分配给所述多个虚拟计算实例，其中，所述虚拟计算实例利用分配到资源执行业务，所述智能体用于控制所述物理机的资源在所述多个虚拟计算实例之间的分配；
15.一种资源分配装置，其特征在于，所述装置用于控制部署有多个虚拟计算实例的物理机的资源分配，其中，所述物理机的资源被分配给所述多个虚拟计算实例，其中，所述虚拟计算实例利用分配到资源执行业务；
16.一种计算设备集群，其特征在于，包括至少一个计算设备，每个计算设备包括处理器和存储器；
17.一种包含指令的计算机程序产品，其特征在于，当所述指令被计算设备集群运行时，使得所述计算设备集群执行如权利要求1-9任一项所述的方法或者如权利要求10-13任一项所述的方法。
18.一种计算机可读存储介质，其特征在于，包括计算机程序指令，当所述计算机程序指令由计算设备集群执行时，所述计算设备集群执行如权利要求1-9任一项所述的方法或者如权利要求10-13任一项所述的方法。
...【技术特征摘要】
1.一种训练智能体的方法，其特征在于，所述智能体的训练环境包括部署有多个虚拟计算实例的物理机，其中，所述物理机的资源被分配给所述多个虚拟计算实例，其中，所述虚拟计算实例利用分配到资源执行业务，所述智能体用于控制所述物理机的资源在所述多个虚拟计算实例之间的分配；
2.根据权利要求1所述方法，其特征在于，所述物理机的资源包括计算资源、存储资源、通信资源中的至少两种。
3.根据权利要求1或2所述的方法，其特征在于，所述多个虚拟计算实例包括多个虚拟计算实例集，所述虚拟计算实例集包括至少一个虚拟计算实例，所述智能体包括多个控制模块，所述多个控制模块和所述多个虚拟计算实例集一一对应；其中，
4.根据权利要求3所述的方法，其特征在于，当所述升高后的所述奖励小于预设的奖励阈值时，所述朝着提升所述奖励的方向，训练所述智能体包括：调整所述第一控制模块中的参数，以更新所述第一控制模块对分配给所述第一虚拟计算实例集的资源的控制。
5.根据权利要求3所述的方法，其特征在于，当所述升高后的所述奖励不小于预设的奖励阈值时，所述朝着提升所述奖励的方向，训练所述智能体包括：停止对所述智能体的训练。
6.根据权利要求3-5任一项所述的方法，其特征在于，在利用所述智能体控制所述物理机的资源在所述多个虚拟计算实例之间分配之前，所述第一虚拟计算实例集所执行业务的服务质量小于其他虚拟计算实例集所执行业务的服务质量，其中，所述其他虚拟计算实例集为所述多个虚拟计算实例集中除所述第一虚拟计算实例集之外的虚拟计算实例集。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述获取所述多个虚拟计算实例执行业务的第一整体服务质量包括：
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
9.根据权利要求1-8任一项所述的方法，其特征在于，
10.一种资源分配方法，其特征在于，所述方法应用于...
【专利技术属性】
技术研发人员：顾炯炯，明仲，曹伟朋，蔡智源，贺颖，
申请(专利权)人：华为云计算技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。