一种计算资源预测方法和系统技术方案

本说明书实施例提供一种计算资源预测方法和系统，涉及计算机技术领域，主要包括：获取数据处理任务的特征数据；所述特征数据反映处理算法逻辑以及待处理数据量；通过机器学习模型处理所述特征数据，得到数据处理任务的计算资源量；所述计算资源量包括处理器用量和/或内存用量；所述计算资源量用于提交给处理设备，以便基于此向所述数据处理任务分配计算资源。源。源。

【技术实现步骤摘要】
一种计算资源预测方法和系统


[0001]本说明书涉及计算机
，特别涉及一种计算资源预测方法和系统。

技术介绍

[0002]计算资源一般包括计算设备中的存储资源和算力资源，存储资源具体可以是内存（中央处理器中的MEM、图形处理器中的显存），算力资源可以是处理器（如中央处理器、图形处理器）等。数据处理任务用于基于预设的处理算法逻辑对待处理数据进行处理，得到处理结果。数据处理任务由计算设备执行，对于计算设备执行的数据处理任务而言，其均占有一定的计算资源。向数据处理任务配置合理的计算资源，有利于提高处理效率，降低资源浪费。
[0003]本说明书一些实施例旨在提供一种计算资源预测方法和系统，预估待执行的数据处理任务需要的计算资源，进而优化计算设备内的资源配置。

技术实现思路

[0004]本说明书一个或多个实施例提供一种计算资源预测方法，由一个以上处理器执行，其包括：获取数据处理任务的特征数据；所述特征数据反映处理算法逻辑以及待处理数据量；通过机器学习模型处理所述特征数据，得到数据处理任务的计算资源量；所述计算资源量包括处理器本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种计算资源预测方法，由一个以上处理器执行，其包括：获取数据处理任务的特征数据；所述特征数据反映处理算法逻辑以及待处理数据量；通过机器学习模型处理所述特征数据，得到数据处理任务的计算资源量；所述计算资源量包括处理器用量和/或内存用量；所述计算资源量用于提交给处理设备，以便基于此向所述数据处理任务分配计算资源。2.如权利要求1所述的方法，所述特征数据包括数据处理代码、计算图以及预计任务流量；所述计算图包括图节点和边，图节点对应算子，边对应算子间的数据流向。3.如权利要求2所述的方法，通过机器学习模型处理所述特征数据，得到数据处理任务的计算资源量，包括：至少基于预计任务流量确定基础特征；通过第一网络处理所述数据处理代码，得到代码编码向量；通过第二网络处理所述计算图，得到图嵌入向量；通过第三网络处理所述基础特征、所述代码编码向量以及所述图嵌入向量，得到数据处理任务的计算资源量。4.如权利要求3所述的方法，所述特征数据还包括任务元数据，所述任务元数据反映以下信息中的一种以上：任务来源、任务去向以及数据处理任务所属的业务领域；所述至少基于预计任务流量确定基础特征，包括：基于所述预计任务流量以及所述任务元数据确定所述基础特征。5.如权利要求3所述的方法，所述第一网络包括Transformer，其通过预测样本代码中被遮罩的部分内容的训练任务进行模型参数调优得到。6.如权利要求3所述的方法，所述第二网络用于：对计算图中的图节点：基于该图节点的节点向量及其邻接节点的节点向量进行聚合，得到该图节点的聚合向量；对计算图中各图节点的聚合向量进行运算，得到所述计算图的图嵌入向量。7.如权利要求6所述的方法，图节点的邻接节点包括其下游一跳图节点；所述基于该图节点的节点向量及其邻接节点的节点向量进行聚合，得到该图节点的聚合向量，包括：通过前馈子网络分别处理所述邻接节点的节点向量，得到邻接节点的映射向量；聚合各邻接节点的映射向量，得到聚合邻接向量；聚合该图节点的节点向量和所述聚合邻接向量，得到该图节点的聚合向量。8.如权利要求3所述的方法，所述第三网络包括神经网络。9.一种计算资源预测系统，包括：特征获取模块，用于获取数据处理任务的特征数据；所述特征数据反映处理算法逻辑以及待处理数据量；特征处理模块，用于通过机器学习模型处理所述特征数据，得到数据处理任务的计算资源量；所述计算资源量包括处理器用量和/或内存用量；所述计算资源量用于提交给处理设备，以便基于此向所述数据处理任务分配...

【专利技术属性】
技术研发人员：叶至灵，岳赟，詹晓君，陶然，张科，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：