混合架构系统及基于历史任务效果的任务调度方法技术方案

本申请公开了一种混合架构系统及基于历史任务效果的任务调度方法，该方法包括：在检测到第一参与方发起待处理任务时，接收第一参与方发送关联的的任务信息和第一数据集的信息；接收第二参与方在检测到待处理任务后发送的关联的第二数据集的信息；根据任务信息、第一数据集的信息、第二数据集的信息以及预设任务类型推荐模型，确定待处理任务的任务类型并返回给第一参与方和第二参与方，任务类型包括分散式类型及集中式类型；通过采用集中式调度模式/采用分散式调度模式进行调度的方式，配合第一参与方和第二参与方根据任务类型对应目标调度模式对待处理任务进行隐私计算，并得到第一处理结果。在本申请中，选择效果最佳的计算方式，避免浪费。避免浪费。避免浪费。

【技术实现步骤摘要】
混合架构系统及基于历史任务效果的任务调度方法


[0001]本申请涉及人工智能
，尤其涉及一种混合架构系统及基于历史任务效果的任务调度方法。

技术介绍

[0002]随着人工智能技术的发展，隐私计算(基于联邦学习)的应用也越来越广泛，隐私计算(Privacy Computing)是指一种由两个或多个参与方(隐私计算的参与方既可以是同一机构的不同部门，也可以是不同的机构，在保护数据安全的同时实现多源数据跨域合作)联合计算的技术和系统，参与方在不泄露各自数据的前提下通过协作对他们的数据进行联合机器学习和联合分析。
[0003]隐私计算过程中，可以选择不同的计算方式，现有技术中是用户手动选择具体的计算方式，然而，手动选择的计算方式往往不是最优选，造成隐私计算资源的浪费。

技术实现思路

[0004]本申请的主要目的在于提供一种混合架构系统及基于历史任务效果的任务调度方法，旨在解决现有隐私计算过程中，手动选择计算方式，易造成隐私计算资源浪费的技术问题。
[0005]为实现上述目的，本申请还提供一种混合架构系统，所述混合架本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种混合架构系统，其特征在于，所述混合架构系统包括：第一参与方，所述第一参与方用于：发起待处理任务，并将待处理任务的任务信息和关联所述待处理任务的第一数据集的信息发送给第三方；还用于在所述待处理任务为集中式类型时，将第一数据集发送给第三方，或者在所述待处理任务为分散式类型时，通过本地任务调度以配合第三方和其他参与方进行分散式运算；第二参与方，所述第二参与方用于：在检测到第一参与方发起待处理任务后，将关联所述待处理任务的第二数据集的信息发送给第三方；还用于在所述待处理任务为集中式类型时，将第二数据集发送给第三方，或者在所述待处理任务为分散式类型时，通过本地任务调度以配合第三方和其他参与方进行分散式运算；第三方，所述第三方用于：基于所述任务信息、所述第一数据集信息和所述第二数据集信息确定所述待处理任务的任务类型，其中，所述任务类型包括分散式类型以及集中式类型；还用于在所述待处理任务为集中式类型时，结合所述第一数据集和所述第二数据集进行集中式运算，或者在所述待处理任务为分散式类型时，通过本地计算以配合其他参与方进行分散式运算。2.根据权利要求1所述的混合架构系统，其特征在于，所述第二参与方为多个。3.根据权利要求1所述的混合架构系统，其特征在于，所述第一参与方包括第一调度模块、第一计算模块和第一通信模块，所述第一调度模块用于在发起待处理任务后，将待处理任务的任务信息和关联所述待处理任务的第一数据集的信息通过所述第一通信模块发送给第三方，还用于在所述待处理任务为分散式类型时通过本地任务调度所述第一计算模块进行本地运算以配合第三方和其他参与方进行分散式运算，或者在所述待处理任务为集中式类型时，将第一数据集通过所述第一通信模块发送给第三方。4.根据权利要求1所述的混合架构系统，其特征在于，所述第二参与方包括第二调度模块、第二计算模块和第二通信模块，所述第二调度模块用于：在检测到第一参与方发起待处理任务后，将关联所述待处理任务的第二数据集的信息通过所述第二通信模块发送给第三方，还用于在所述待处理任务为分散式类型时，通过本地任务调度所述第二计算模块进行本地运算以配合第三方和其他参与方进行分散式运算，或者在所述待处理任务为集中式类型时，将第二数据集通过所述第二通信模块发送给第三方。5.根据权利要求1所述的混合架构系统，其特征在于，所述第三方包括第三调度模块、第三计算模块、第三通信模块和任务类型推荐模块，所述第三通信模块用于与所述第一参与方和/或所述第二参与方通信；所述任务类型推荐模块用于：基于所述任务信息、所述第一数据集的信息和所述第二数据集的信息确定所述待处理任务的任务类型；所述第三调度模块用于：在所述待处理任务为集中式类型时，调度所述第三计算模块结合所述第一数据集和所述第二数据集进行集中式运算，或者在所述待处理任务为分散式类型时，通过本地任务调度所述第三计算模块进行本地运算以配合其他参与方进行分散式运算。6.根据权利要求5所述的混合架构系统，其特征在于，所述第一参与方还包括任务评分模块，所述任务评分模块用于在所述待处理任务处理完成后依据处理效果对所述待处理任务的任务处理过程进行评分，并将所述待处理任务的任务信息和所述评分对应发送给所述第三方的所述任务类型推荐模块；所述第三方的所述任务类型推荐模块基于所述任务信息将所述待处理任务的所述任
务信息、所述任务类型、所述评分，以及与所述待处理任务关联的所述第一数据集信息和所述第二数据集信息对应存储。7.一种基于历史任务效果的任务调度方法，其特征在于，应用于第三方，所述基于历史任务效果的任务调度方法包括：在检测到参与联邦学习的第一参与方发起待处理任务时，接收所述第一参与方发送的所述待处理任务的任务信息和关联所述待处理任务的第一数据集的信息；接收所述第二参与方在检测到所述待处理任务后发送的关联所述待处理任务的第二数据集的信息；根据所述任务信息、所述第一数据集的信息、所述第二数据集的信息以及预设任务类型推荐模型，确定所述待处理任务的任务类型，其中，任务类型包括分散式类型以及集中式类型；将所述任务类型返回给所述第一参与方和所述第二参与方，通过采用集中式调度模式对集中式任务进行调度/采用分散式调度模式对分散式类型任务进行调度的方式，配合所述第一参与方和第二参与方根据所述任务类型对应的目标调度模式对所述待处理任务进行隐私计算，并得到第一处理结果。8.根据权利要求7所述的基于历史任务效果的任务调度方法，其特征在于，所述根据所述任务信息、所述第一数据集的信息、所述第二数据集的信息以及预设任务类型推荐模型，确定所述待处理任务的任务类型的步骤，包括：将所述任务信息、所述第一数据集的信息和所述第二数据集的信息输入至预设任务类型推荐模型中；其中，所述预设任务类型推荐模型基于具有任务效果评分标签的预设训练数据集进行迭代训练得到；基于所述预设任务类型推荐模型对所述任务信息、所述第一数据集的信息和所述第二数据集的信息进行预测处理，得到预测效果评分；基于所述预测效果评分，确定所述待处理任务的任务类型。9.根据权利要求8所述的基于历史任务效果的任务调度方法，其特征在于，所述基于所述预设任务类型推荐模型对所述任务信息、所述第一数据集的信息和所述第二数据集的信息进行预测处理，得到预测效果评分的步骤之前，所述方法包括：获取具有任务效果评分标签的预设训练数据集和待训练模型，其中，所述预设训练数据集至少具有任务类型、算法类型和数据属性的特征因子；基于所述任务类型、算法类型和数据属性的特征因子，确定所述预设训练数据集的训练矩阵；将所述训练矩阵输入至所述待训练模型中，基于所述待训练模型对所述训练矩阵进行预测处理，得到预测结果；将所述预测结果和所述任务效果评分标签进行比对，并得到比对结果；基于所述比对结果，判断所述待训练模型是否完成训练；若未完成训练时，调整所述待训练模型的参数，并返回将所述训练矩阵输入至所述待训练模型中，基于所述待训练模型对所述训练矩阵进行预测处理，得到预测结果的步骤，直至得到满足预设训练完成条件的预设任务类型推荐模型。
10.根据权利要求7所述的基于历史任务效果的任务调度方法，其特征在于，所述基于历史任务效果的任务调度方法还包括：确定在历史阶段调度过的任务的数量；若所述调度过的任务的数量小于预设数量时，从系统的配置信息读取默认任务类型，其中，所述预设数量是配置得到的，所述默认任务类型包括分散式类型以及集中式类型；确定所述默认任务类型对应的目标调度模式，以实现基于所述目标调度模式对所述待处理任务进行处理，并得到第二处理结果。11.根据权利要求7所述的基于历史任务效果的任务调度方法，其特征在于，所述通过采用集中式调度模式对集中式任务进行调度的方式，并配合所述第一参与方和第二参与方根据所述任务类型对应的目标调度模式对所述待处理任务进行隐私计算，并得到第一处理结果的步骤，包括：判断本地是否存有第一参与方的第一数据集和第二参与方的第二数据集；若没有，调度第一参与方加密上传第一数据集，并调度其他第二参与方加密上传第二数据集，保存所述第一数据集和所述第二数据集；从本地调取所述第一数据集和所述第二数据集，对所述待处理任务进行集中式运算处理，得到第一处理结果。12.根据权利要求7所述的基于历史任务效果的任务调度方法，其特征在于，所述通过采用分散式调度模式对分散式类型任务进行调度的方式，并配合所述第一参与方和第二参与方根据所述任务类型对应的目...

【专利技术属性】
技术研发人员：张春海，高晓龙，尔梦欢，薛新江，楚汉祥，孙军欢，
申请(专利权)人：深圳致星科技有限公司，
类型：发明
国别省市：