获取资源分配模型的方法、资源分配方法及对应装置制造方法及图纸

本说明书实施例提供了一种获取资源分配模型的方法、资源分配方法及对应装置。具体技术方案包括：首先从一个以上的应用服务的历史数据中获取训练数据，各训练数据包括应用服务在各时刻的流量特征数据和计算资源实际使用状况；然后采用元强化学习机制建立资源分配模型，所述资源分配模型从所述流量特征数据和所述计算资源的实际使用状况中学习在各时刻对应用服务采用的资源分配调整策略，以使得按照资源分配调整策略调整计算资源后所述一个以上的应用服务在各时刻的计算资源使用状况与预期使用状况之间的差异小于预定值。预期使用状况之间的差异小于预定值。预期使用状况之间的差异小于预定值。

【技术实现步骤摘要】
获取资源分配模型的方法、资源分配方法及对应装置


[0001]本说明书一个或多个实施例涉及计算机应用
，尤其涉及人工智能
中的一种获取资源分配模型的方法、资源分配方法及对应装置。

技术介绍

[0002]随着互联网的日益普及和用户数量的不断提升，应用系统访问量的爆炸式增长和访问的不确定性对应用服务的稳定性、伸缩性和可靠性带来了严峻的挑战。而大量的应用服务运行于各种计算资源上，这些计算资源通常以服务器集群的形式存在。而这些计算资源是需要付出较高成本的，因此在实际环境中，如何对各种应用服务进行合理的资源分配成为亟待解决的问题。

技术实现思路

[0003]本说明书一个或多个实施例描述了一种获取资源分配模型的方法、资源分配方法及对应装置，用以实现针对应用服务的合理资源分配。
[0004]根据第一方面，提供了一种建立资源分配模型的方法，包括：
[0005]从一个以上的应用服务的历史数据中获取训练数据，各训练数据包括应用服务在各历史时刻的流量特征数据和计算资源实际使用状况；
[0006]采用元强化学习机制建立资源分配模型，所述资源分配模型从所述流量特征数据和所述计算资源的实际使用状况中学习在各时刻对应用服务采用的资源分配调整策略，以使得按照所述资源分配调整策略调整计算资源后所述一个以上的应用服务在各时刻的计算资源使用状况与预期使用状况之间的差异小于预定值。
[0007]在一个实施例中，所述流量特征数据包括远程过程调用PRC数据、消息msg数据和流量traffic数据中的至少一种。
[0008]在另一个实施例中，所述采用元强化学习机制建立资源分配模型包括：
[0009]利用所述训练数据训练包括元学习子模型和强化学习子模型的资源分配模型；
[0010]其中，所述元学习子模型用以利用所述应用服务在各历史时刻的流量特征数据，得到所述应用服务的任务向量表示，并利用所述流量特征数据和所述任务向量表示预测所述应用服务在各时刻的计算资源使用状况，所述元学习子模型的训练目标为最小化预测结果与训练数据中对应的计算资源实际使用状况之间的差异；
[0011]强化学习子模型用以将训练得到的所述元学习子模型作为环境，与所述元学习子模型进行交互，采用强化学习机制预测对所述应用服务在各时刻采用的资源分配调整策略，以使得按照所述资源分配调整策略调整计算资源后所述应用服务在各时刻的计算资源使用状况与预期使用状况之间的差异最小化。
[0012]在一个实施例中，所述元学习子模型包括：编码网络和解码网络；
[0013]所述编码网络用以利用输入的应用服务i在时刻t
j
的流量特征数据，得到所述应用服务i在时刻t
j
的任务向量表示；
[0014]所述解码网络用以利用所述应用服务i在时刻t
j
的任务向量表示以及流量特征数据，预测所述应用服务i在时刻t
j
的计算资源使用状况。
[0015]在另一个实施例中，所述编码网络进一步用以利用所述训练数据所包含的流量特征数据对所述应用服务i在时刻t
j
的流量特征数据进行注意力机制的处理，得到所述应用服务i在时刻t
j
的流量特征向量表示；
[0016]所述解码网络在预测所述应用服务i在时刻t
j
的计算资源使用状况时，进一步利用所述应用服务i在时刻t
j
的流量特征向量表示。
[0017]在一个实施例中，与所述元学习子模型进行交互，采用强化学习机制预测对所述应用服务在各时刻采用的资源分配调整策略包括：
[0018]所述强化学习子模型作为智能体，将应用服务在各时刻的流量特征数据和计算资源使用状况作为状态，将利用所述状态和所述应用服务的任务向量表示预测得到的在各时刻对应用服务采用的资源分配调整策略作为动作，所述智能体与训练得到的元学习子模型交互以进行强化学习，所述强化学习过程中利用按照所述资源分配调整策略调整计算资源后应用服务的计算资源使用状况与预期使用状况之间的差异得到奖励。
[0019]根据第二方面，提供了一种资源分配方法，包括：
[0020]获取应用服务在时刻t的流量特征数据；
[0021]将所述流量特征数据输入资源分配模型，获取所述资源分配模型输出的在所述时刻t对所述应用服务采用的资源分配调整策略；
[0022]依据所述资源分配调整策略调整为所述应用服务分配的计算资源；
[0023]其中，所述资源分配模型采用如上所述的方法预先建立。
[0024]在一个实施例中，所述获取应用服务在时刻t的流量特征数据包括：
[0025]从上游流量预测模块获取所述应用服务在时刻t的流量特征数据，所述上游流量预测模块利用所述应用服务在时刻t
‑
1的流量特征数据、采用的资源分配调整策略以及任务向量表示预测得到所述应用服务在时刻t的流量特征数据。
[0026]在另一个实施例中，所述资源分配模型包括元学习子模型和强化学习子模型；
[0027]所述元学习子模型利用所述应用服务在时刻t的流量特征数据，得到所述应用服务的任务向量表示；
[0028]所述强化学习子模型利用所述流量特征数据和所述任务向量表示，预测在所述时刻t对所述应用服务采用的资源分配调整策略。
[0029]根据第三方面，提供了一种建立资源分配模型的装置，包括：
[0030]数据获取单元，被配置为从一个以上的应用服务的历史数据中获取训练数据，各训练数据包括应用服务在各历史时刻的流量特征数据和计算资源实际使用状况；
[0031]模型建立单元，被配置为采用元强化学习机制建立资源分配模型，所述资源分配模型从所述流量特征数据和所述计算资源的实际使用状况中学习在各时刻对应用服务采用的资源分配调整策略，以使得按照所述资源分配调整策略调整计算资源后所述一个以上的应用服务在各时刻的计算资源使用状况与预期使用状况之间的差异小于预定值。
[0032]在一个实施例中，所述流量特征数据包括远程过程调用PRC数据、消息msg数据和流量traffic数据中的至少一种。
[0033]在另一个实施例中，所述模型建立单元，具体被配置为利用所述训练数据训练包
括元学习子模型和强化学习子模型的资源分配模型；
[0034]其中，所述元学习子模型用以利用所述应用服务在各时刻的流量特征数据，得到所述应用服务的任务向量表示，并利用所述流量特征数据和所述任务向量表示预测所述应用服务在各时刻的计算资源使用状况，所述元学习子模型的训练目标为最小化预测结果与训练数据中对应的计算资源实际使用状况之间的差异；
[0035]强化学习子模型用以将训练得到的所述元学习子模型作为环境，与所述元学习子模型进行交互，采用强化学习机制预测对所述应用服务在各时刻采用的资源分配调整策略，以最小化调整策略后所述应用服务在各时刻的计算资源使用状况与预期使用状况之间的差异。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.建立资源分配模型的方法，包括：从一个以上的应用服务的历史数据中获取训练数据，各训练数据包括应用服务在各历史时刻的流量特征数据和计算资源实际使用状况；采用元强化学习机制建立资源分配模型，所述资源分配模型从所述流量特征数据和所述计算资源的实际使用状况中学习在各时刻对于应用服务采用的资源分配调整策略，以使得按照所述资源分配调整策略调整计算资源后，所述一个以上应用服务在各时刻的计算资源使用状况与预期使用状况之间的差异小于预定值。2.根据权利要求1所述的方法，其中，所述流量特征数据包括：远程过程调用PRC数据、消息msg数据和流量traffic数据中的至少一种。3.根据权利要求1所述的方法，其中，所述采用元强化学习机制建立资源分配模型包括：利用所述训练数据训练包括元学习子模型和强化学习子模型的资源分配模型；其中，所述元学习子模型用以利用所述应用服务在各历史时刻的流量特征数据，得到所述应用服务的任务向量表示，并利用所述流量特征数据和所述任务向量表示预测所述应用服务在各时刻的计算资源使用状况，所述元学习子模型的训练目标为最小化预测结果与训练数据中对应的计算资源实际使用状况之间的差异；强化学习子模型用以将训练得到的所述元学习子模型作为环境，与所述元学习子模型进行交互，采用强化学习机制预测对所述应用服务在各时刻采用的资源分配调整策略，以使得按照所述资源分配调整策略调整计算资源后所述应用服务在各时刻的计算资源使用状况与预期使用状况之间的差异最小化。4.根据权利要求3所述的方法，其中，所述元学习子模型包括：编码网络和解码网络；所述编码网络用以利用输入的应用服务i在时刻t
j
的流量特征数据，得到所述应用服务i在时刻t
j
的任务向量表示；所述解码网络用以利用所述应用服务i在时刻t
j
的任务向量表示以及流量特征数据，预测所述应用服务i在时刻t
j
的计算资源使用状况。5.根据权利要求4所述的方法，其中，所述编码网络进一步用以利用所述训练数据所包含的流量特征数据对所述应用服务i在时刻t
j
的流量特征数据进行注意力机制的处理，得到所述应用服务i在时刻t
j
的流量特征向量表示；所述解码网络在预测所述应用服务i在时刻t
j
的计算资源使用状况时，进一步利用所述应用服务i在时刻t
j
的流量特征向量表示。6.根据权利要求3所述的方法，其中，与所述元学习子模型进行交互，采用强化学习机制预测对所述应用服务在各时刻采用的资源分配调整策略包括：所述强化学习子模型作为智能体，将应用...

【专利技术属性】
技术研发人员：屈超，詹姆士，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：