一种作业执行方法及装置制造方法及图纸

本发明专利技术提供一种作业执行方法及装置，包括：收集待执行作业的信息，信息包括：优先级信息、作业状态信息，以及所在客户机的资源信息；将待执行作业的信息输入预先训练的图神经网络模型中，获取待执行作业的执行分数以及待执行作业对应的客户机；而后，根据待执行作业的执行分数，在待执行作业对应的客户机上执行该待执行作业。这样，通过将待执行作业的信息输入预先训练的图神经网络模组中后，获取待执行作业的执行分数，从而能够结合动态变化的作业影响因素，快速决策出待执行作业的选择顺序，而后根据待执行作业的选择顺序在待执行作业对应的客户机上依次执行待执行作业，进而最大化利用资源进行优先级需求高的作业加工，满足大数据加工需求。大数据加工需求。大数据加工需求。

【技术实现步骤摘要】
一种作业执行方法及装置


[0001]本专利技术涉及计算机
，特别涉及一种作业执行方法及装置。

技术介绍

[0002]随着大数据技术的发展，数据总量积累到PB级，使得将数据加工过程拆分为作业任务后，作业任务数量达到十万多个，庞大的作业任务数量复杂了作业依赖关系，增加了作业选择难度，容易造成高时效要求的作业排队时间过长，数据无法在规定时间内完成。同时，由于大数据平台调度客户机资源有限，无法满足所有可执行作业同时执行，也会加剧作业排队和执行时长。
[0003]因而，目前优先执行时效要求较高的作业，即时效要求较高的作业的优先级较高，以在一定程度上减小作业排队和执行时长过长造成的损失，但是作业的优先级处于动态变化中，可能平时优先级较低的作业在特殊时点会将优先级提升至最高级别。因而仅仅依赖于作业优先级进行作业选择，可能导致处理数据量大的优先级别非最高级的作业无法在时效要求下完成。同时，随着大数据平台的不断建设，影响作业选择的影响因素可能会不断变化。
[0004]因此，能够根据动态变化的作业影响因素，快速决策出所有待执行作业的选择顺序，据此进行作业执行，从而最大化利用资源进行优先级需求高的作业加工，满足大数据加工需求，是目前大数据平台调度系统亟需研究的问题。

技术实现思路

[0005]有鉴于此，本专利技术的目的在于提供一种作业执行方法及装置，能够根据动态变化的作业影响因素，快速决策出待执行作业的选择顺序。
[0006]为实现上述目的，本专利技术有如下技术方案：
[0007]一种作业执行方法，包括：
[0008]收集待执行作业的信息，所述信息包括：优先级信息、作业状态信息，以及所在客户机的资源信息；
[0009]将所述待执行作业的信息输入预先训练的图神经网络模型中，获取所述待执行作业的执行分数以及所述待执行作业对应的客户机；
[0010]根据所述待执行作业的执行分数，在所述待执行作业对应的客户机上执行所述待执行作业。
[0011]可选的，所述在所述待执行作业对应的客户机上执行所述待执行作业包括：
[0012]当所述执行机对应的客户机当前的资源信息小于最大阈值时，在所述待执行作业对应的客户机上执行所述待执行作业；
[0013]还包括：
[0014]若所述待执行作业对应的客户机当前的资源信息等于所述最大阈值时，将所述待执行作业的信息重新输入所述预先训练的图神经网络模型中，重新获取对应的客户机。
[0015]可选的，所述图神经网络模型的训练过程包括：
[0016]获取图神经网络模型的训练集，所述训练集包括历史执行作业的信息、所述历史执行作业的执行分数以及所述历史执行作业对应的客户机；
[0017]所述历史执行作业的信息包括：所述历史执行作业的优先级信息、作业状态信息以及所在客户机的资源信息；所述历史执行作业的分数是根据所述历史执行作业的优先级、作业状态信息获得；
[0018]利用所述训练集确定所述图神经网络模型的模型参数。
[0019]可选的，所述将所述待执行作业的信息输入预先训练的图神经网络模型中，获取所述待执行作业的执行分数以及所述待执行作业对应的客户机包括：
[0020]对所述待执行作业的信息进行预处理，所述预处理包括：对待执行作业的信息中的缺失值进行默认填充或预测填充；
[0021]对预处理后的待执行作业的信息进行特征值提取，并将所述特征值进行规划化和离散化处理，获得训练数据；
[0022]将所述训练数据输入预先训练的图神经网络模型中，获取所述待执行作业的执行分数以及所述待执行作业对应的客户机。
[0023]可选的，所述收集待执行作业的信息，包括：
[0024]向客户机发送链接请求，当收到所述客户机发送的链接响应消息后，向所述客户机发送收集资源的请求；
[0025]当收到所述客户机发送的资源响应消息后，收集所述客户机上的待执行作业的信息。
[0026]一种作业执行装置，包括：
[0027]收集单元，用于收集待执行作业的信息，所述信息包括：优先级信息、作业状态信息，以及所在客户机的资源信息；
[0028]第一获取单元，用于将所述待执行作业的信息输入预先训练的图神经网络模型中，获取所述待执行作业的执行分数以及所述待执行作业对应的客户机；
[0029]执行单元，用于根据所述待执行作业的执行分数，在所述待执行作业对应的客户机上执行所述待执行作业。
[0030]可选的，所述执行单元具体用于当所述执行机对应的客户机当前的资源信息小于最大阈值时，在所述待执行作业对应的客户机上执行所述待执行作业；
[0031]还包括：第二获取单元，用于若所述待执行作业对应的客户机当前的资源信息等于所述最大阈值时，将所述待执行作业的信息重新输入所述预先训练的图神经网络模型中，重新获取对应的客户机。
[0032]可选的，所述第一获取单元包括：第一子获取单元以及确定单元；
[0033]所述第一子获取单元，用于获取图神经网络模型的训练集，所述训练集包括历史执行作业的信息、所述历史执行作业的执行分数以及所述历史执行作业对应的客户机；所述历史执行作业的信息包括：所述历史执行作业的优先级信息、作业状态信息以及所在客户机的资源信息；所述历史执行作业的分数是根据所述历史执行作业的优先级、作业状态信息获得；
[0034]所述确定单元，用于利用所述训练集确定所述图神经网络模型的模型参数。
[0035]可选的，所述第一获取单元包括：预处理单元、提取单元以及第二子获取单元；
[0036]所述预处理单元，用于对所述待执行作业的信息进行预处理，所述预处理包括：对待执行作业的信息中的缺失值进行默认填充或预测填充；
[0037]所述提取单元，用于对预处理后的待执行作业的信息进行特征值提取，并将所述特征值进行规划化和离散化处理，获得训练数据；
[0038]所述第二子获取单元，用于将所述训练数据输入预先训练的图神经网络模型中，获取所述待执行作业的执行分数以及所述待执行作业对应的客户机。
[0039]可选的，所述收集单元包括：发送单元；
[0040]所述发送单元用于向客户机发送链接请求，当收到所述客户机发送的链接响应消息后，向所述客户机发送收集资源的请求；以及当收到所述客户机发送的资源响应消息后，收集所述客户机上的待执行作业的信息。
[0041]本专利技术实施例提供的一种作业执行方法，包括：收集待执行作业的信息，信息包括：待执行作业的优先级信息、作业状态信息，以及待执行作业所在客户机的资源信息；将待执行作业的信息输入预先训练的图神经网络模型中，获取待执行作业的执行分数以及待执行作业对应的客户机；而后，根据待执行作业的执行分数，在待执行作业对应的客户机上执行该待执行作业。这样，通过将待执行作业的信息输入预先训练的图神经网络模组中后，获取待执行作业的执行分数，从而能够结合动态变化的作业影响因素，快速决策出待执行作业的选择顺序，而后根本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种作业执行方法，其特征在于，包括：收集待执行作业的信息，所述信息包括：优先级信息、作业状态信息，以及所在客户机的资源信息；将所述待执行作业的信息输入预先训练的图神经网络模型中，获取所述待执行作业的执行分数以及所述待执行作业对应的客户机；根据所述待执行作业的执行分数，在所述待执行作业对应的客户机上执行所述待执行作业。2.根据权利要求1所述的方法，其特征在于，所述在所述待执行作业对应的客户机上执行所述待执行作业包括：当所述执行机对应的客户机当前的资源信息小于最大阈值时，在所述待执行作业对应的客户机上执行所述待执行作业；还包括：若所述待执行作业对应的客户机当前的资源信息等于所述最大阈值时，将所述待执行作业的信息重新输入所述预先训练的图神经网络模型中，重新获取对应的客户机。3.根据权利要求1所述的方法，其特征在于，所述图神经网络模型的训练过程包括：获取图神经网络模型的训练集，所述训练集包括历史执行作业的信息、所述历史执行作业的执行分数以及所述历史执行作业对应的客户机；所述历史执行作业的信息包括：所述历史执行作业的优先级信息、作业状态信息以及所在客户机的资源信息；所述历史执行作业的分数是根据所述历史执行作业的优先级、作业状态信息获得；利用所述训练集确定所述图神经网络模型的模型参数。4.根据权利要求1所述的方法，其特征在于，所述将所述待执行作业的信息输入预先训练的图神经网络模型中，获取所述待执行作业的执行分数以及所述待执行作业对应的客户机包括：对所述待执行作业的信息进行预处理，所述预处理包括：对待执行作业的信息中的缺失值进行默认填充或预测填充；对预处理后的待执行作业的信息进行特征值提取，并将所述特征值进行规划化和离散化处理，获得训练数据；将所述训练数据输入预先训练的图神经网络模型中，获取所述待执行作业的执行分数以及所述待执行作业对应的客户机。5.根据权利要求1
‑
4任意一项所述的方法，其特征在于，所述收集待执行作业的信息，包括：向客户机发送链接请求，当收到所述客户机发送的链接响应消息后，向所述客户机发送收集资源的请求；当收到所述客户机发送的资源响应消息后，收集所述客户机上的待执行作业的信息。6.一种作业执行装置，其特征在于，包括：收集单元，用于收集待执行作...

【专利技术属性】
技术研发人员：游黎，朱其貌，孙鹏晖，
申请(专利权)人：中国农业银行股份有限公司，
类型：发明
国别省市：