调度方法、装置、设备及介质制造方法及图纸

本公开提供了一种调度方法、装置、设备及介质，涉及数据处理技术领域。该方法包括：中心调度系统基于预设周期，获取数据处理系统的中心层和边缘层的运营数据；将运营数据存储至中心层的AI训练中心，以使AI训练中心调用中心存储节点和中心算力节点，基于存储的运营数据训练调度算法模型，并将训练结果反馈至中心调度系统；通过历史运营数据，评估训练后的调度算法模型；在调度算法模型的通过评估的情况下，应用调度算法模型处理数据处理系统中的调度请求。本公开实施例能够动态数据处理系统各方资源，改善数据处理系统的工作效率。改善数据处理系统的工作效率。改善数据处理系统的工作效率。

【技术实现步骤摘要】
调度方法、装置、设备及介质


[0001]本公开涉及数据处理
，尤其涉及一种调度方法、装置、设备及介质。

技术介绍

[0002]分布式数据处理系统中经常需要调度各类数据。因而，需要一种方案帮助数据处理系统不同的功能节点之间协调联动，动态数据处理系统中各方资源。
[0003]需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

[0004]本公开提供一种调度方法、装置、设备及介质，至少在一定程度上解决分布式数据处理系统中数据资源调度的问题。
[0005]本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
[0006]根据本公开的一个方面，提供了一种调度方法，应用于数据处理系统的中心调度系统，方法包括：
[0007]基于预设周期，获取数据处理系统的中心层和边缘层的运营数据；
[0008]将运营数据存储至中心层的AI训练中心，以使AI训练中心调用中心存储节点和中心算力节点，基于存储的运营数据训练调度算法模型，并将训练结果反馈至中心调度系统；
[0009]通过历史运营数据，评估训练后的调度算法模型；
[0010]在调度算法模型的通过评估的情况下，应用调度算法模型处理数据处理系统中的调度请求。
[0011]在本公开的一个实施例中，运营数据，包括如下数据中的至少一种：
[0012]各边缘节点不同时段的资源利用数据、完成数据迁移的系统数据、算力租赁的系统数据、联邦学习的系统数据、隐私计算的系统数据、节点扩容的系统数据、记录在区块链上的数据共享数据。
[0013]在本公开的一个实施例中，将运营数据存储至中心层的AI训练中心之前，方法还包括：
[0014]对运营数据进行预处理，预处理包括如下处理中的至少一种：
[0015]数据去重处理、数据标准化处理、错误修正处理。
[0016]在本公开的一个实施例中，调度算法模型中包括数据处理系统中的多个调度算法。
[0017]在本公开的一个实施例中，AI训练中心在训练调度算法模型时，采用了如下训练算法中的至少一种：
[0018]线性回归、决策树、随机森林、逻辑回归、梯度提升、SVM。
[0019]在本公开的一个实施例中，通过历史运营数据，评估训练后的调度算法模型之前，
AI训练中心还对调度算法模型进行了初始评估。
[0020]在本公开的一个实施例中，通过历史运营数据，评估训练后的调度算法模型，包括：
[0021]通过历史运营数据，使用混淆矩阵，得到调度算法模型预测结果的准确率和召回率；
[0022]基于准确率和召回率，评估训练后的调度算法模型。
[0023]在本公开的一个实施例中，基于准确率和召回率，评估训练后的调度算法模型，包括：
[0024]基于准确率和召回率，计算调和平均数；
[0025]基于调和平均数和预设阈值，判断训练后的调度算法模型是否通过评估。
[0026]在本公开的一个实施例中，准确率公式如下：
[0027]P＝X4/(X2+X4)
[0028]召回率计算公式如下：
[0029]R＝X4/(X3+X4)
[0030]调和平均数计算公式如下：
[0031]F＝2PR/(P+R)
[0032]其中，X2表示判断错误的肯定记录，X3表示判断错误的否定记录，X4表示判断正确的肯定记录。
[0033]根据本公开的另一个方面，提供一种调度装置，应用于数据处理系统的中心调度系统，装置包括：
[0034]数据获取模块，用于基于预设周期，获取数据处理系统的中心层和边缘层的运营数据；
[0035]数据存储模块，用于将运营数据存储至中心层的AI训练中心，以使AI训练中心调用中心存储节点和中心算力节点，基于存储的运营数据训练调度算法模型，并将训练结果反馈至中心调度系统；
[0036]模型评估模块，用于通过历史运营数据，评估训练后的调度算法模型；
[0037]调度模块，用于在调度算法模型的通过评估的情况下，应用调度算法模型处理数据处理系统中的调度请求。
[0038]根据本公开的又一个方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述的调度方法。
[0039]根据本公开的又一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的调度方法。
[0040]本公开实施例所提供的调度方法、装置、设备及介质，以中心调度系统为核心，联合AI训练中心训练调度算法模型，通过调度算法模型协调系统中不同功能组件。本公开能够通过不同功能组件产生的数据不断优化调度算法模型，高效调度各方资源。
[0041]此外，本公开中基于预设周期，获取数据处理系统的中心层和边缘层的运营数据，进而模型的训练过程也是周期性进行的，也就是说本公开中的调度算法模型能够在数据处理系统的运行期间不断的进行自我优化，进而能够更好的适配数据处理系统。
[0042]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
[0043]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0044]图1示本公开实施例中一种数据处理系统结构示意图；
[0045]图2示本公开实施例中一种数据采集层结构示意图；
[0046]图3示本公开实施例中数据处理系统区块链基础设施示意图；
[0047]图4示本公开实施例中另一种数据处理系统结构示意图；
[0048]图5示出本公开实施例中一种调度方法流程图；
[0049]图6示出本公开实施例中另一种调度方法流程图；
[0050]图7示出本公开实施例中一种调度装置示意图；
[0051]图8示出本公开实施例中一种电子设备的结构框图。
具体实施方式
[0052]现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
[0053]此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种调度方法，其特征在于，应用于数据处理系统的中心调度系统，所述方法包括：基于预设周期，获取数据处理系统的中心层和边缘层的运营数据；将所述运营数据存储至中心层的AI训练中心，以使所述AI训练中心调用中心存储节点和中心算力节点，基于存储的运营数据训练调度算法模型，并将训练结果反馈至中心调度系统；通过历史运营数据，评估训练后的所述调度算法模型；在所述调度算法模型的通过评估的情况下，应用所述调度算法模型处理所述数据处理系统中的调度请求。2.根据权利要求1所述的方法，其特征在于，运营数据，包括如下数据中的至少一种：各边缘节点不同时段的资源利用数据、完成数据迁移的系统数据、算力租赁的系统数据、联邦学习的系统数据、隐私计算的系统数据、节点扩容的系统数据、记录在区块链上的数据共享数据。3.根据权利要求1所述的方法，其特征在于，将所述运营数据存储至中心层的AI训练中心之前，所述方法还包括：对所述运营数据进行预处理，所述预处理包括如下处理中的至少一种：数据去重处理、数据标准化处理、错误修正处理。4.根据权利要求1所述的方法，其特征在于，所述调度算法模型中包括所述数据处理系统中的多个调度算法。5.根据权利要求1所述的方法，其特征在于，所述AI训练中心在训练所述调度算法模型时，采用了如下训练算法中的至少一种：线性回归、决策树、随机森林、逻辑回归、梯度提升、SVM。6.根据权利要求1所述的方法，其特征在于，通过历史运营数据，评估训练后的所述调度算法模型之前，所述AI训练中心还对所述调度算法模型进行了初始评估。7.根据权利要求1所述的方法，其特征在于，通过历史运营数据，评估训练后的所述调度算法模型，包括：通过历史运营数据，使用混淆矩阵，得到所述调度算法模型预...

【专利技术属性】
技术研发人员：王憬晗，赵君，梁伟，杨明川，李馨迟，刘康，夏晓晴，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：