训练预测模型以及预测资源使用量的方法及装置制造方法及图纸

本说明书实施例提供一种训练预测模型，以及使用该模型预测资源使用量的方法。预测模型的过程可以包括，获取服务器集群中目标服务器在历史时段中对处理资源的目标使用量，以及该目标服务器中的多个数据副本对应的多条流量数据，其中任意数据副本对应的流量数据包括，对应租户在所述历史时段中访问与该数据副本对应的数据而产生的流量信息。将各条流量数据输入预测模型，得到各个数据副本对所述处理资源的预测使用量；将各个预测使用量之和，作为预测总使用量。根据目标使用量和所述预测总使用量，确定预测损失，以预测损失最小化为目标，更新所述预测模型。更新所述预测模型。更新所述预测模型。

【技术实现步骤摘要】
训练预测模型以及预测资源使用量的方法及装置


[0001]本说明书一个或多个实施例涉及数据库和人工智能，尤其涉及一种训练预测模型以及预测资源使用量的方法及装置。

技术介绍

[0002]目前多种主流的数据库都采用分布式存储的方式，将租户数据存储于集群中。租户数据可以包括该租户中大量用户的个人数据、隐私数据等，这些数据可以以数据表的形式，存储于数据库集群中。
[0003]为了更高的可靠性和可用性，以及容灾的考虑，一些数据库开始支持多副本的部署方案。也就是，每个数据表的分区都包括多个副本，不同副本分布在集群的不同服务器中，从而能够容许单机故障、数据中心故障以及城市级别的故障。例如，在OceanBase(OB)数据库中，支持一主多备共5种副本的部署方式，除主副本外，备副本包括以下副本类型：全能型副本、日志型副本、只读型副本、备份型副本。
[0004]数据库系统中多类型的副本部署结构，在实现数据库高可用的情况下也对副本类型的运维带来了挑战。例如，在OceanBase(OB)数据库运维场景中，缺乏有效的方式获取租户副本粒度的处理资源使用指标，例如CPU使用指标cpu_uti l，而这些使用指标的精准刻画，对于扩缩容策略、限流自适应、分时调度等实现都是至关重要的基石。因此，迫切需要改进的技术手段，有效而精准地刻画租户副本粒度的处理资源使用指标，从而促进数据库的部署和性能提升。

技术实现思路

[0005]鉴于上述问题，本说明书提供了一种训练预测模型，以及通过该模型预测资源使用量的方法，通过拟合租户对其数据副本的访问流量与资源使用量之间的关系，有效而精准地刻画租户副本粒度的处理资源使用指标，促进数据库的资源部署和性能提升。
[0006]根据第一方面，提供一种训练预测模型的方法，包括：
[0007]获取服务器集群中目标服务器在历史时段中对处理资源的目标使用量，以及多个数据副本对应的多条流量数据，所述多个数据副本是所述目标服务器中存储的租户数据副本；其中任意数据副本对应的流量数据包括，对应租户在所述历史时段中访问与该数据副本对应的数据而产生的流量信息；
[0008]将各条流量数据输入预测模型，得到各个数据副本对所述处理资源的预测使用量；
[0009]将各个预测使用量之和，作为预测总使用量，根据所述目标使用量和所述预测总使用量，确定预测损失；
[0010]以预测损失最小化为目标，更新所述预测模型。
[0011]典型的，上述处理资源为CPU资源。
[0012]根据一种实施方式，预测模型可以包括，第一模型和第二模型；所述多个数据副本
包括第一数据副本。相应的，将各条流量数据输入预测模型，得到各个数据副本对所述处理资源的预测使用量，具体包括：将所述第一数据副本对应的第一流量数据输入所述预测模型，通过所述第一模型预测，处理所述第一数据副本自身导致的对所述处理资源的第一使用量，通过所述第二模型预测，与所述第一数据副本相关的服务器间通信导致的对所述处理资源的第二使用量；将所述第一使用量和第二使用量之和，确定为所述第一数据副本的预测使用量。
[0013]进一步的，在一个实施例中，第一模型可以包括与预设的多个租户组对应的多个模型版本；在这样的情况下，将第一数据副本对应的第一流量数据输入所述预测模型，具体包括：确定所述第一数据副本所属的第一租户在所述预设的多个租户组中所归属的目标租户组；将所述第一流量数据输入目标版本的第一模型，所述目标版本是所述多个模型版本中与所述目标租户组对应的模型版本。
[0014]在一个示例中，上述第一流量数据可以包括：每秒查询数QPS，每秒事务数TPS，逻辑读，IO通信量。
[0015]根据一个实施例，第一流量数据至少包括：第一数据副本对应的主副本的第一流量指标，并且所述第二模型包括与多个副本类型相对应的多个子模型。在这样的情况下，将第一数据副本对应的第一流量数据输入所述预测模型，具体包括：将所述第一流量指标输入目标子模型，所述目标子模型是所述多个子模型中与所述第一数据副本的副本类型对应的子模型。
[0016]根据一个示例，上述多个副本类型可以包括：主副本，只读副本，日志副本。
[0017]根据一个具体示例，上述与主副本类型对应的主副本子模型具有与预设的多个租户组对应的多个子模型版本；相应的，将第一流量指标输入目标子模型，包括：当所述目标子模型为主副本子模型时，确定所述第一数据副本所属的第一租户在所述预设的多个租户组中所归属的目标租户组；将所述第一流量指标输入目标子模型版本的主副本子模型，所述目标子模型版本是所述多个子模型版本中与所述目标租户组对应的版本。
[0018]根据第二方面，提供了一种预测服务器的资源使用量的方法，包括：
[0019]获取根据第一方面的方法训练得到的预测模型；
[0020]获取待评估的目标数据副本对应的目标流量数据，其中，所述目标数据副本存储于服务器集群中的某一服务器中，所述目标流量数据包括，目标租户在待评估的当前时段中访问与该目标数据副本对应的数据而产生的流量信息；
[0021]将所述目标流量数据输入所述预测模型，得到所述目标数据副本对所述某一服务器的处理资源的预测使用量。
[0022]根据第三方面，提供了一种训练预测模型的装置，包括：
[0023]数据获取单元，配置为获取服务器集群中目标服务器在历史时段中对处理资源的目标使用量，以及多个数据副本对应的多条流量数据，所述多个数据副本是所述目标服务器中存储的租户数据副本；其中任意数据副本对应的流量数据包括，对应租户在所述历史时段中访问与该数据副本对应的数据而产生的流量信息；
[0024]预测输入单元，配置为将各条流量数据输入预测模型，得到各个数据副本对所述处理资源的预测使用量；
[0025]损失确定单元，配置为将各个预测使用量之和，作为预测总使用量，根据所述目标
使用量和所述预测总使用量，确定预测损失；
[0026]模型更新单元，配置为以预测损失最小化为目标，更新所述预测模型。
[0027]根据第四方面，提供了一种预测服务器的资源使用量的装置，包括：
[0028]模型获取单元，配置为获取根据第三方面的装置训练得到的预测模型；
[0029]数据获取单元，配置为获取待评估的目标数据副本对应的目标流量数据，其中，所述目标数据副本存储于服务器集群中的某一服务器中，所述目标流量数据包括，目标租户在待评估的当前时段中访问与该目标数据副本对应的数据而产生的流量信息；
[0030]预测单元，配置为将所述目标流量数据输入所述预测模型，得到所述目标数据副本对所述某一服务器的处理资源的预测使用量。
[0031]根据第五方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面或第二方面所述的方法。
[0032]根据第六方面，提供了一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种训练预测模型的方法，包括：获取服务器集群中目标服务器在历史时段中对处理资源的目标使用量，以及多个数据副本对应的多条流量数据，所述多个数据副本是所述目标服务器中存储的租户数据副本；其中任意数据副本对应的流量数据包括，对应租户在所述历史时段中访问与该数据副本对应的数据而产生的流量信息；将各条流量数据输入预测模型，得到各个数据副本对所述处理资源的预测使用量；将各个预测使用量之和，作为预测总使用量，根据所述目标使用量和所述预测总使用量，确定预测损失；以预测损失最小化为目标，更新所述预测模型。2.根据权利要求1所述的方法，其中，所述处理资源为CPU资源。3.根据权利要求1所述的方法，其中，所述预测模型包括，第一模型和第二模型；所述多个数据副本包括第一数据副本；将各条流量数据输入预测模型，得到各个数据副本对所述处理资源的预测使用量，包括：将所述第一数据副本对应的第一流量数据输入所述预测模型，通过所述第一模型预测，处理所述第一数据副本自身导致的对所述处理资源的第一使用量，通过所述第二模型预测，与所述第一数据副本相关的服务器间通信导致的对所述处理资源的第二使用量；将所述第一使用量和第二使用量之和，确定为所述第一数据副本的预测使用量。4.根据权利要求3所述的方法，其中，所述第一模型包括与预设的多个租户组对应的多个模型版本；将所述第一数据副本对应的第一流量数据输入所述预测模型，包括：确定所述第一数据副本所属的第一租户在所述预设的多个租户组中所归属的目标租户组；将所述第一流量数据输入目标版本的第一模型，所述目标版本是所述多个模型版本中与所述目标租户组对应的模型版本。5.根据权利要求4所述的方法，其中，所述第一流量数据包括：每秒查询数QPS，每秒事务数TPS，逻辑读，IO通信量。6.根据权利要求3所述的方法，其中，所述第一流量数据包括：第一数据副本对应的主副本的第一流量指标；所述第二模型包括与多个副本类型相对应的多个子模型；所述将所述第一数据副本对应的第一流量数据输入所述预测模型，包括：将所述第一流量指标输入目标子模型，所述目标子模型是所述多个子模型中与所述第一数据副本的副本类型对应的子模型。7.根据权利要求6所述的方法，其中，所述多个副本类型包括：主副本，只读副本，日志副本。8.根据权利要求6所述的方法，其中，所述多个子模型包括与主副本类型对应的主副本子模型，所述主副本子模型具有与预设的多个租户组对应的多个子模型版本；将所述第一流量指标输入目标子模型，包括：当所述目标子模型为主副本子模型时，确定所述第一数据副本所属的第一租户在所述预设的多个租户组中所归属的目标租户组；
将所述第一流量指标输入目标子模型版本的主副本子模型，所述目标子模型版本是所述多个子模型版本中与所述目标租户组对应的版本。9.一种预测服务器的资源使用量的方法，包括：获取根据权利要求1的方法训练得到的预测模型；获取待评估的目标数据副本对应的目标流量数据，其中，所述目标数据副本存储于服务器集群中的某一服务器中，所述目标流量数据包括，目标租户在待评估的当前时段中访问与该目标数据副本对应的数据而产生的流量信息；将所述目标流量数据输入所述预测模型，得到所述目标数据副本对所述某一服务器的处理资源的预测使用量。10.根据权利要求9所述的方法，其中，所述处理资源为CPU资源。11.根据权利要求9所述的方法，其中，所述预测模型包括，第一...

【专利技术属性】
技术研发人员：王焕，蒋炜，王昕喆，伍孝林，朱诗逸，李建国，李宁，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：