一种计算资源预测方法和系统技术方案

本说明书实施例提供一种计算资源预测方法和系统，涉及计算机技术领域，主要包括：获取数据处理任务的特征数据；所述特征数据反映处理算法逻辑以及待处理数据量；通过机器学习模型处理所述特征数据，得到数据处理任务的计算资源量；所述计算资源量包括处理器用量和/或内存用量；所述计算资源量用于提交给处理设备，以便基于此向所述数据处理任务分配计算资源。源。源。

【技术实现步骤摘要】
一种计算资源预测方法和系统


[0001]本说明书涉及计算机
，特别涉及一种计算资源预测方法和系统。

技术介绍

[0002]计算资源一般包括计算设备中的存储资源和算力资源，存储资源具体可以是内存（中央处理器中的MEM、图形处理器中的显存），算力资源可以是处理器（如中央处理器、图形处理器）等。数据处理任务用于基于预设的处理算法逻辑对待处理数据进行处理，得到处理结果。数据处理任务由计算设备执行，对于计算设备执行的数据处理任务而言，其均占有一定的计算资源。向数据处理任务配置合理的计算资源，有利于提高处理效率，降低资源浪费。
[0003]本说明书一些实施例旨在提供一种计算资源预测方法和系统，预估待执行的数据处理任务需要的计算资源，进而优化计算设备内的资源配置。

技术实现思路

[0004]本说明书一个或多个实施例提供一种计算资源预测方法，由一个以上处理器执行，其包括：获取数据处理任务的特征数据；所述特征数据反映处理算法逻辑以及待处理数据量；通过机器学习模型处理所述特征数据，得到数据处理任务的计算资源量；所述计算资源量包括处理器用量和/或内存用量；所述计算资源量用于提交给处理设备，以便基于此向所述数据处理任务分配计算资源。
[0005]本说明书一个或多个实施例提供一种计算资源预测系统，包括：特征获取模块，用于获取数据处理任务的特征数据；所述特征数据反映处理算法逻辑以及待处理数据量；特征处理模块，用于通过机器学习模型处理所述特征数据，得到数据处理任务的计算资源量；所述计算资源量包括处理器用量和/或内存用量；所述计算资源量用于提交给处理设备，以便基于此向所述数据处理任务分配计算资源。
[0006]本说明书一个或多个实施例提供一种计算资源预测装置，包括处理器及存储介质，所述存储介质上存储有计算机指令，所述处理器用于执行所述计算机指令中的至少一部分，以实现前述的计算资源预测方法。
[0007]本说明书一个或多个实施例提供一种计算资源预测模型的训练方法，包括：获取数据处理任务样本的特征数据以及标签；所述特征数据反映处理算法逻辑以及待处理数据量，所述标签反映数据处理任务样本的实际计算资源用量；计算资源量包括处理器用量和/或内存用量；通过模型处理所述特征数据，得到预测的计算资源量；调整所述模型的模型参数，以减小预测的计算资源用量与对应的实际计算资源用量的差异。
[0008]本说明书一个或多个实施例提供一种计算资源预测模型系统，用于处理数据处理任务的特征数据，得到数据处理任务的计算资源用量；所述特征数据包括数据处理代码、计算图以及预计任务流量；所述计算图包括图节点和边，图节点对应算子，边对应算子间的数据流向；所述系统包括：基础特征输入层，用于至少基于预计任务流量确定基础特征；第一
网络，用于处理所述数据处理代码，得到代码编码向量；第二网络，用于处理所述计算图，得到图嵌入向量；第三网络，用于处理所述基础特征、所述代码编码向量以及所述图嵌入向量，得到所述计算资源量。
附图说明
[0009]本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：图1是根据本说明书一些实施例所示的应用场景示意图；图2是根据本说明书一些实施例所示的计算资源预测方法的示例性流程图；图3是根据本说明书一些实施例所示的计算图；图4是根据本说明书一些实施例所示的用于预测计算资源的模型的结构示意图；图5是根据本说明书一些实施例所示的第一网络的示意图；图6是根据本说明书一些实施例所示的模型训练的示例性流程图；图7是根据本说明书一些实施例所示的计算资源预测系统的示意框图。
具体实施方式
[0010]为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
[0011]应当理解，本文使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。
[0012]如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。
[0013]本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
[0014]数据处理任务用于基于预设的处理算法逻辑对待处理数据进行处理，得到处理结果。数据处理任务包括处理算法逻辑和待处理数据两方面的内容。处理算法逻辑具体可以表现为计算机代码，代码被处理设备执行后能够实现所述处理算法逻辑。所述代码可以是基于C语言、汇编语言、Python语言、SQL语言等编写得到。在一些实施例中，待处理数据可以是编写在所述代码中的。在又一些实施例中，待处理数据可以是独立于代码的，代码执行时需要通过网络事实获取待处理数据、或者到指定的存储区域或数据文件中读取待处理数
据，完成数据处理。
[0015]计算资源一般包括计算设备中的存储资源和算力资源。存储资源具体可以是内存（中央处理器中的MEM、图形处理器中的显存），算力资源可以是处理器（如中央处理器、图形处理器）等。对于运行于计算设备中的数据处理任务，其会暂用一定量的计算资源，具体可以包括内存占用量或者处理器占用量，又或者是同时占用两者的量。内存占用量可以由所占用的字节数描述，也可以使用占用比例描述。处理器占用量可以由所占用的处理器核数来描述，也可以是处理器的占用比例。
[0016]大数据处理场景中，常用到数据处理引擎。数据处理引擎包括处理数据操作的组件，组件可以是封装好的且具备一定通用性的程序代码，其可以完成特定的计算功能。组件可以被数据处理任务对应的代码调用，以提高代码编写的效率。示例性的组件可以包括卷积组件，用于对数据进行卷积操作、编码组件，用于对数据进行编码、或者组件可以是实现数据批处理map组件、join组件或者filter组件等。数据处理任务可以提交给数据处理引擎，数据处理引擎可以对数据处理任务进行预处理，如编译，之后，数据处理引擎可以向处理设备申请计算资源，以执行预处理后的数据处理任务。
[0017]在一些实施例中，处理设备可以通过资源优化引擎接收资源请求，并进行计算资源优化分配。资源优化引擎可以是实现计算资源量预估和分配等功能的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种计算资源预测方法，由一个以上处理器执行，其包括：获取数据处理任务的特征数据；所述特征数据反映处理算法逻辑以及待处理数据量；通过机器学习模型处理所述特征数据，得到数据处理任务的计算资源量；所述计算资源量包括处理器用量和/或内存用量；所述计算资源量用于提交给处理设备，以便基于此向所述数据处理任务分配计算资源。2.如权利要求1所述的方法，所述特征数据包括数据处理代码、计算图以及预计任务流量；所述计算图包括图节点和边，图节点对应算子，边对应算子间的数据流向。3.如权利要求2所述的方法，通过机器学习模型处理所述特征数据，得到数据处理任务的计算资源量，包括：至少基于预计任务流量确定基础特征；通过第一网络处理所述数据处理代码，得到代码编码向量；通过第二网络处理所述计算图，得到图嵌入向量；通过第三网络处理所述基础特征、所述代码编码向量以及所述图嵌入向量，得到数据处理任务的计算资源量。4.如权利要求3所述的方法，所述特征数据还包括任务元数据，所述任务元数据反映以下信息中的一种以上：任务来源、任务去向以及数据处理任务所属的业务领域；所述至少基于预计任务流量确定基础特征，包括：基于所述预计任务流量以及所述任务元数据确定所述基础特征。5.如权利要求3所述的方法，所述第一网络包括Transformer，其通过预测样本代码中被遮罩的部分内容的训练任务进行模型参数调优得到。6.如权利要求3所述的方法，所述第二网络用于：对计算图中的图节点：基于该图节点的节点向量及其邻接节点的节点向量进行聚合，得到该图节点的聚合向量；对计算图中各图节点的聚合向量进行运算，得到所述计算图的图嵌入向量。7.如权利要求6所述的方法，图节点的邻接节点包括其下游一跳图节点；所述基于该图节点的节点向量及其邻接节点的节点向量进行聚合，得到该图节点的聚合向量，包括：通过前馈子网络分别处理所述邻接节点的节点向量，得到邻接节点的映射向量；聚合各邻接节点的映射向量，得到聚合邻接向量；聚合该图节点的节点向量和所述聚合邻接向量，得到该图节点的聚合向量。8.如权利要求3所述的方法，所述第三网络包括神经网络。9.一种计算资源预测系统，包括：特征获取模块，用于获取数据处理任务的特征数据；所述特征数据反映处理算法逻辑以及待处理数据量；特征处理模块，用于通过机器学习模型处理所述特征数据，得到数据处理任务的计算资源量；所述计算资源量包括处理器用量和/或内存用量；所述计算资源量用于提交给处理设备，以便基于此向所述数据处理任务分配...

【专利技术属性】
技术研发人员：叶至灵，岳赟，詹晓君，陶然，张科，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：