隐私计算和隐私数据保护的云原生任务调度方法及装置制造方法及图纸

本申请涉及隐私计算、隐私数据及联邦学习技术领域，具体涉及一种隐私计算和隐私数据保护的云原生任务调度方法及装置。云原生任务调度方法使得多个参与方根据初始调度信息独自地且分别地在各自的云原生应用平台上通过申请该参与方的可执行资源来创建该参与方的与待执行隐私计算任务相关联的动态任务单元以及使得多个参与方通过调用各自的动态任务单元来协同完成待执行隐私计算任务，并且在完成该参与方的任务目标后删除动态任务单元以及释放为创建该动态任务单元而申请的可执行资源。如此改进自动化能力和资源利用率。源。如此改进自动化能力和资源利用率。源。如此改进自动化能力和资源利用率。

【技术实现步骤摘要】
隐私计算和隐私数据保护的云原生任务调度方法及装置


[0001]本申请涉及隐私计算、隐私数据及联邦学习
，具体涉及一种隐私计算和隐私数据保护的云原生任务调度方法及装置。

技术介绍

[0002]隐私计算(Privacy Computing)指的是在保证数据提供方不泄露原始数据的前提下对数据进行分析计算的一系列技术，保证数据在流通和融合过程中“可用不可见”。隐私计算在通常意义上涵盖以保护数据隐私的同时实现计算任务为目的所使用的一系列广泛的技术。隐私计算结合计算机科学、人工智能以及云计算等技术的发展，在数据查询和机器学习中取得了重大进展，在诸多应用场景下提供了对数据的安全获取和对数据隐私的保护。常见的隐私计算技术包括如联邦学习(Federated Learning，FL)、安全多方计算(Secure Multi
‑
Party Computation，SMPC)、秘密共享(Secret Sharing)、可信执行环境(TrustedExecution Environment，TEE)、差分隐私(Differential Privacy，DP)、同态加密(Homomorphic Encryption， HE)等。其中联邦学习指的是在确保数据不离开安全控制范围例如数据不传递到外部的前提下实现多方协同构建联邦学习模型。另一方面，随着对数据安全和隐私信息保护的日益重视，隐私数据例如涉及个人信息或敏感信息的个人隐私数据等，在数据处理、数据通信、数据交互等各方面也面临更高的隐私保护和数据安全的要求。
[0003]云原生(Cloud Native)或者说原生云，是在设计时就将云环境和云应用考虑进去，能充分利用云平台的弹性和分布式优势的构建及运行应用程序的方法。云原生的关键技术包括容器和容器编排、服务网格、微服务、不可变基础设施及声明式应用程序接口(Application Programming Interface，API)等。其中容器和容器编排为云原生应用提供了开源容器管理平台，能实现可快速部署的轻量级运行平台。但是，现有的隐私计算、隐私数据以及联邦学习
的产品和服务是基于传统的应用架构来构建及运行应用程序，与云原生应用架构例如开源容器管理平台架构等整合度低下，不利于利用云平台、云环境和云计算等来进行容器化部署，从而不利于推广隐私计算、隐私数据以及联邦学习
的产品和服务。
[0004]为此，需要一种隐私计算和隐私数据保护的云原生任务调度方法及装置，能够实现隐私计算、隐私数据以及联邦学习
的产品和服务与云原生应用架构之间的高度整合，做到基于云原生技术设计以及基于云平台进行容器化部署，有利于提高隐私计算系统的自动化能力和提高资源利用率。

技术实现思路

[0005]第一方面，本申请实施例提供了一种云原生任务调度方法，应用于隐私计算和隐私数据保护。所述云原生任务调度方法包括：多个参与方根据待执行隐私计算任务和所述多个参与方各自的可执行资源共同确定所述待执行隐私计算任务的初始调度信息和所述
多个参与方各自的任务目标；所述多个参与方根据所述初始调度信息独自地且分别地在各自的云原生应用平台上通过申请该参与方的可执行资源来创建该参与方的与所述待执行隐私计算任务相关联的动态任务单元；所述多个参与方通过调用各自的与所述待执行隐私计算任务相关联的动态任务单元来协同完成所述待执行隐私计算任务。其中，所述多个参与方中的每一个参与方在完成该参与方的任务目标后，删除该参与方的与所述待执行隐私计算任务相关联的动态任务单元，并且释放为创建该参与方的与所述待执行隐私计算任务相关联的动态任务单元而申请的该参与方的可执行资源。
[0006]第一方面所描述的技术方案，在充分利用了云原生和基于云平台进行容器化部署所带来的便利性和敏捷性的基础上，实现了可用于隐私计算和隐私数据保护的云原生任务调度方法，适用于隐私计算、隐私数据及联邦学习
的各种产品和服务跟云原生应用架构之间的高度整合，并且通过多个参与方共同确定初始调度信息和各自的任务目标来加强协作同时还利用动态任务单元解耦了多个参与方各自的可执行资源的变化对协作完成待执行隐私计算任务带来的影响，而且还通过在完成各自的任务目标后删除该参与方的与所述待执行隐私计算任务相关联的动态任务单元从而解耦了每个隐私计算任务对彼此的影响进而有利于提高整体的稳定性和资源利用效率。
[0007]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述云原生任务调度方法还包括：在所述多个参与方共同确定所述待执行隐私计算任务的初始调度信息之后，根据所述多个参与方中的至少一个参与方的可执行资源的实时状态调整所述初始调度信息得到调整后调度信息，以及所述多个参与方用所述调整后调度信息替换所述初始调度信息。
[0008]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述云原生任务调度方法还包括：在所述多个参与方共同确定述待执行隐私计算任务的初始调度信息之后，根据所述多个参与方中的至少一个参与方的可执行资源的实时状态调整所述初始调度信息得到调整后调度信息，以及所述至少一个参与方根据所述调整后调度信息在所述至少一个参与方的云原生应用平台上通过申请所述至少一个参与方的可执行资源来创建所述至少一个参与方的与所述待执行隐私计算任务相关联的动态任务单元。
[0009]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述多个参与方中的每一个参与方的可执行资源包括该参与方的CPU、内存、节点数、GPU、和FPGA中的至少一项服务器资源信息。
[0010]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述多个参与方中的一个或者多个参与方通过反复调用所述一个或者多个参与方的与所述待执行隐私计算任务相关联的动态任务单元来协同完成所述待执行隐私计算任务。
[0011]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述多个参与方，在调用各自的与所述待执行隐私计算任务相关联的动态任务单元来协同完成所述待执行隐私计算任务的过程中，还通过调用各自的与所述待执行隐私计算任务相关联的动态任务单元来交换各自的任务参数信息。
[0012]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述多个参与方在共同确定所述待执行隐私计算任务的初始调度信息的过程中交换各自的任务控制信息。
[0013]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述多个参与方的每一个参与方的与所述待执行隐私计算任务相关联的动态任务单元包括一种或者多种工作负载资源类型。
[0014]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述多个参与方各自的任务目标均是所述待执行隐私计算任务的结束。
[0015]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述多个参与方参与同一隐私计算协作项目或者属于同一隐私计算协作网络。
[0016]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种云原生任务调度方法，应用于隐私计算和隐私数据保护，其特征在于，所述云原生任务调度方法包括：多个参与方根据待执行隐私计算任务和所述多个参与方各自的可执行资源共同确定所述待执行隐私计算任务的初始调度信息和所述多个参与方各自的任务目标；所述多个参与方根据所述初始调度信息独自地且分别地在各自的云原生应用平台上通过申请该参与方的可执行资源来创建该参与方的与所述待执行隐私计算任务相关联的动态任务单元；所述多个参与方通过调用各自的与所述待执行隐私计算任务相关联的动态任务单元来协同完成所述待执行隐私计算任务，其中，所述多个参与方中的每一个参与方在完成该参与方的任务目标后，删除该参与方的与所述待执行隐私计算任务相关联的动态任务单元，并且释放为创建该参与方的与所述待执行隐私计算任务相关联的动态任务单元而申请的该参与方的可执行资源。2.根据权利要求1所述的云原生任务调度方法，其特征在于，所述云原生任务调度方法还包括：在所述多个参与方共同确定所述待执行隐私计算任务的初始调度信息之后，根据所述多个参与方中的至少一个参与方的可执行资源的实时状态调整所述初始调度信息得到调整后调度信息，以及所述多个参与方用所述调整后调度信息替换所述初始调度信息。3.根据权利要求1所述的云原生任务调度方法，其特征在于，所述云原生任务调度方法还包括：在所述多个参与方共同确定述待执行隐私计算任务的初始调度信息之后，根据所述多个参与方中的至少一个参与方的可执行资源的实时状态调整所述初始调度信息得到调整后调度信息，以及所述至少一个参与方根据所述调整后调度信息在所述至少一个参与方的云原生应用平台上通过申请所述至少一个参与方的可执行资源来创建所述至少一个参与方的与所述待执行隐私计算任务相关联的动态任务单元。4.根据权利要求1所述的云原生任务调度方法，其特征在于，所述多个参与方中的每一个参与方的可执行资源包括该参与方的CPU、内存、节点数、GPU、和FPGA中的至少一项服务器资源信息。5.根据权利要求1所述的云原生任务调度方法，其特征在于，所述多个参与方中的一个或者多个参与方通过反复调用所述一个或者多个参与方的与所述待执行隐私计算任务相关联的动态任务单元来协同完成所述待执行隐私计算任务。6.根据权利要求1所述的云原生任务调度方法，其特征在于，所述多个参与方，在调用各自的与所述待执行隐私计算任务相关联的动态任务单元来协同完成所述待执行隐私计算任务的过程中，还通过调用各自的与所述待执行隐私计算任务相关联的动态任务单元来交换各自的任务参数信息。7.根据权利要求1所述的云原生任务调度方法，其特征在于，所述多个参与方在共同确定所述待执行隐私计算任务的初始调度信息的过程中交换各自的任务控制信息。8.根据权利要求1所述的云原生任务调度方法，其特征在于，所述多个参与方的每一个参与方的与所述待执行隐私计算任务相关联的动态任务单元包括一种或者多种工作负载资源类型。
9.根据权利要求1所述的云原生任务调度方法，其特征在于，所述多个参与方各自的任务目标均是所述待执行隐私计算任务的结束。10.根据权利要求1至9中任一项所述的云原生任务调度方法，其特征在于，所述多个参与方参与同一隐私计算协作项目或者属于同一隐私计算协作网络。11.根据权利要求1至9中任一项所述的云原生任务调度方法，其特征在于，所述多个参与方各自的云原生应用平台包括以下至少一项：Kubernetes容器编排引擎、Kubernetes容器管理平台、Azure Kubernetes服务、IBM Kubernetes服务、KubeSphere容器云平台、Rancher容...

【专利技术属性】
技术研发人员：张春海，
申请(专利权)人：深圳致星科技有限公司，
类型：发明
国别省市：