大数据任务调度模型训练方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及大数据引擎领域，公开了一种大数据任务调度模型训练方法、装置、设备及存储介质，其方法包括：获取大数据任务样本数据；通过预处理规则处理大数据任务样本数据，生成模型输入参数；通过预设分类规则处理大数据任务样本数据，生成特征分类数据；根据特征分类数据配置多层神经网络模型的模型输出层；获取预配置的损失函数，根据损失函数和模型输入参数对多层神经网络模型进行训练；计算训练后的多层神经网络模型的准确率；当多层神经网络模型的准确率满足预设要求时，将训练后的多层神经网络模型确定为大数据任务调度模型。本发明专利技术可以通过大数据任务调度模型生成的调度信息调度大数据任务，提高硬件资源的整体利用率，降低运算成本。低运算成本。低运算成本。

【技术实现步骤摘要】
大数据任务调度模型训练方法、装置、设备及存储介质


[0001]本专利技术涉及大数据引擎领域，尤其涉及一种大数据任务调度模型训练方法、装置、设备及存储介质。

技术介绍

[0002]随着大数据任务处理需求的日益增长，硬件资源也随着增加。然而，数量庞大的硬件资源产生了高额的运算成本。而且，这些硬件资源往往是基于峰值需求配置的，整体利用率并不高。
[0003]因而，需要寻找一种新的大数据任务调度模型训练方法，以获得一种可以生成调度信息的大数据任务调度模型，通过调度信息可以合理调度大数据任务，提高硬件资源的整体利用率，降低运算成本。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种大数据任务调度模型训练方法、装置、设备及存储介质，以获得可以生成调度信息的大数据任务调度模型，通过调度信息调度大数据任务，提高硬件资源的整体利用率，降低运算成本。
[0005]一种大数据任务调度模型训练方法，包括：
[0006]获取大数据任务样本数据；
[0007]通过预处理规则处理所述大数据任务样本数据，生成多层神经网络模型的模型输入参数；通过预设分类规则处理所述大数据任务样本数据，生成特征分类数据；
[0008]根据所述特征分类数据配置所述多层神经网络模型的模型输出层；
[0009]获取预配置的损失函数，根据所述损失函数和所述模型输入参数对所述多层神经网络模型进行训练；
[0010]计算训练后的所述多层神经网络模型的准确率；
[0011]当所述多层神经网络模型的准确率满足预设要求时，将训练后的所述多层神经网络模型确定为大数据任务调度模型，所述大数据任务调度模型用于处理大数据任务的任务信息，生成所述大数据任务的调度信息。
[0012]一种大数据任务调度模型训练装置，包括：
[0013]获取样本模块，用于获取大数据任务样本数据；
[0014]预处理模块，用于通过预处理规则处理所述大数据任务样本数据，生成多层神经网络模型的模型输入参数；通过预设分类规则处理所述大数据任务样本数据，生成特征分类数据；
[0015]输出层设置模块，用于根据所述特征分类数据配置所述多层神经网络模型的模型输出层；
[0016]模型训练模块，用于获取预配置的损失函数，根据所述损失函数和所述模型输入参数对所述多层神经网络模型进行训练；
[0017]准确率计算模块，用于计算训练后的所述多层神经网络模型的准确率；
[0018]生成模型模块，用于当所述多层神经网络模型的准确率满足预设要求时，将训练后的所述多层神经网络模型确定为大数据任务调度模型，所述大数据任务调度模型用于处理大数据任务的任务信息，生成所述大数据任务的调度信息。
[0019]一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现上述大数据任务调度模型训练方法。
[0020]一个或多个存储有计算机可读指令的可读存储介质，所述计算机可读指令被一个或多个处理器执行时，使得所述一个或多个处理器执行如上述大数据任务调度模型训练方法。
[0021]上述大数据任务调度模型训练方法、装置、计算机设备及存储介质，通过预处理规则处理大数据任务样本数据，生成多层神经网络模型的模型输入参数；经预设分类规则处理，则生成用于配置模型输出层的特征分类数据，可以增加神经模型与大数据任务的适配度。结合损失函数对多层神经网络模型训练，可能提高模型的特征提取能力。计算训练后的所述多层神经网络模型的准确率，可以对多层神经网络模型进行验证，确保多层神经网络模型的预测准确率。最后，生成大数据任务调度模型。由该大数据任务调度模型生成的调度信息，可以提高硬件资源的整体利用率，降低运算成本。
附图说明
[0022]为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0023]图1是本专利技术一实施例中大数据任务调度模型训练方法的一应用环境示意图；
[0024]图2是本专利技术一实施例中大数据任务调度模型训练方法的一流程示意图；
[0025]图3是本专利技术一实施例中大数据任务调度模型训练装置的一结构示意图；
[0026]图4是本专利技术一实施例中计算机设备的一示意图。
具体实施方式
[0027]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0028]本实施例提供的大数据任务调度模型训练方法，可应用在如图1的应用环境中，其中，客户端与服务端进行通信。其中，客户端包括但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务端可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
[0029]在一实施例中，如图2所示，提供一种大数据任务调度模型训练方法，以该方法应用在图1中的服务端为例进行说明，包括如下步骤S10
‑
S60。
[0030]S10、获取大数据任务样本数据；
[0031]S20、通过预处理规则处理所述大数据任务样本数据，生成多层神经网络模型的模型输入参数；通过预设分类规则处理所述大数据任务样本数据，生成特征分类数据；
[0032]S30、根据所述特征分类数据配置所述多层神经网络模型的模型输出层。
[0033]可理解地，大数据任务样本数据包括多个历史大数据任务的任务数据。在此处，任务数据包括但不限于任务名，计划执行时间，频率，执行时长，任务优先级，任务依赖，资源消耗。
[0034]预处理规则可以根据实际需要进行设置。预处理规则包括但不限于数据清理规则和数据标准化规则。其中，数据清理规则可以对大数据任务样本数据进行除重，排除异常数据；数据标准化规则可以对不同单位的数据标准化，如一些时间数据采用12小时制，另一些时间数据采用24小时制，则可以统一为24小时制。
[0035]大数据任务样本数据经预处理规则处理后，可以作为模型输入参数直接输入多层神经网络模型的模型输入层。多层神经网络模型可以是在感知机模型上进行扩展的神经网络模型。具体的，可以在感知机基础上加入多层隐藏层，以增加模型的表达能力。
[0036]预设分类规则可以根据实际需要进行设置。预设分类规则可以对大数据任务样本数据进行分类，生成特征分类数据。这些特征分类数据可以涉及执行时间、任务依赖、资源消耗等。可以使用特征分类数据配置多层神经网络模型的模型输出层。
[0037]S40、获取预配置的损失函数，根据所述损失函数和所述模型输入本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大数据任务调度模型训练方法，其特征在于，包括：获取大数据任务样本数据；通过预处理规则处理所述大数据任务样本数据，生成多层神经网络模型的模型输入参数；通过预设分类规则处理所述大数据任务样本数据，生成特征分类数据；根据所述特征分类数据配置所述多层神经网络模型的模型输出层；获取预配置的损失函数，根据所述损失函数和所述模型输入参数对所述多层神经网络模型进行训练；计算训练后的所述多层神经网络模型的准确率；当所述多层神经网络模型的准确率满足预设要求时，将训练后的所述多层神经网络模型确定为大数据任务调度模型，所述大数据任务调度模型用于处理大数据任务的任务信息，生成所述大数据任务的调度信息。2.如权利要求1所述的大数据任务调度模型训练方法，其特征在于，所述获取预配置的损失函数，根据所述损失函数和所述模型输入参数对所述多层神经网络模型进行训练，包括：将所述模型输入参数输入所述多层神经网络模型，获取所述多层神经网络模型输出的第一输出数据；将所述第一输出数据输入所述损失函数，获得第一损失值；根据所述第一损失值对所述多层神经网络模型的模型参数进行调节。3.如权利要求2所述的大数据任务调度模型训练方法，其特征在于，所述损失函数包括：其中，Loss为损失值；y为所述模型输入参数的标签值；为所述多层神经网络模型的加权值。4.如权利要求1所述的大数据任务调度模型训练方法，其特征在于，所述计算训练后的所述多层神经网络模型的准确率，包括：获取验证样本数据；使用所述验证样本数据输入训练后的所述多层神经网络模型，获得所述验证预测结果；根据所述验证预测结果和所述验证样本数据的真实结果确定所述准确率。5.如权利要求1所述的大数据任务调度模型训练方法，其特征在于，所述预处理规则包括特征规范化规则和特征选取规则；所述通过预处理规则处理所述大数据任务样本数据，生成多层神经网络模型的模型输入参数，包括：根据所述特征规范化规则对所述大数据任务样本数据进行特征提取，生成规范特征集合；根据所述特征选取规则对所述规范特征集合进行特征抽取，生成所述模型输入参数。6.如权利要求...

【专利技术属性】
技术研发人员：王振兴，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：