隐私计算、隐私数据及联邦学习的分散式处理方法及装置制造方法及图纸

本申请涉及隐私计算、隐私数据及联邦学习技术领域，具体涉及一种隐私计算、隐私数据及联邦学习的分散式处理方法及装置。方法包括：根据待执行任务的任务类型和任务要求选择离线数据处理模式或者在线数据处理模式；根据所选择的数据处理模式分别在离线数据处理模式下或者在线数据处理模式下运行本地隐私计算框架从而执行待执行任务并获得执行结果。如此，有利于在分散式处理方法的适用场景下包括在数据分散式的隐私计算的应用场景及其应用实例中充分利用本地资源为给定任务的执行过程提供支持以及为多个任务的执行过程提供支持，提高整体效率和资源利用率。提高整体效率和资源利用率。提高整体效率和资源利用率。

Decentralized processing method and device for privacy computing, privacy data and federated learning

【技术实现步骤摘要】
隐私计算、隐私数据及联邦学习的分散式处理方法及装置


[0001]本申请涉及隐私计算、隐私数据及联邦学习
，具体涉及一种隐私计算、隐私数据及联邦学习的分散式处理方法及装置。

技术介绍

[0002]隐私计算（Privacy Computing）指的是在保证数据提供方不泄露原始数据的前提下对数据进行分析计算的一系列技术，保证数据在流通和融合过程中“可用不可见”。隐私计算在通常意义上涵盖以保护数据隐私的同时实现计算任务为目的所使用的一系列广泛的技术。隐私计算结合计算机科学、人工智能以及云计算等技术的发展，在数据查询和机器学习中取得了重大进展，在诸多应用场景下提供了对数据的安全获取和对数据隐私的保护。常见的隐私计算技术包括如联邦学习（Federated Learning，FL）、安全多方计算（Secure Multi
‑
Party Computation，SMPC）、秘密共享（Secret Sharing）、可信执行环境（Trusted Execution Environment，TEE）、差分隐私（Differential Pr本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分散式处理方法，用于隐私计算、隐私数据及联邦学习，其特征在于，所述分散式处理方法包括：根据待执行任务的任务类型和任务要求选择离线数据处理模式或者在线数据处理模式，其中，所述待执行任务的任务要求包括所述待执行任务的时效性要求；根据所选择的离线数据处理模式或者在线数据处理模式，分别在所述离线数据处理模式下或者在所述在线数据处理模式下运行本地隐私计算框架从而执行所述待执行任务并获得执行结果，其中，当在所述在线数据处理模式下运行所述本地隐私计算框架时，所述本地隐私计算框架通过本地数据管理系统的在线接口实时接收与所述待执行任务相关联的一个或者多个样本ID并实时反馈所述执行结果，其中，当在所述离线数据处理模式下运行所述本地隐私计算框架时，所述本地隐私计算框架通过所述本地数据管理系统的数据导出模块从所述本地数据管理系统的本地存储器导出与所述待执行任务相关联的ID集或者特征数据集用于执行所述待执行任务。2.根据权利要求1所述的分散式处理方法，其特征在于，当所述待执行任务的任务类型是数据求交任务或者建模任务时，在所述离线数据处理模式下运行所述本地隐私计算框架从而执行所述数据求交任务或者所述建模任务。3.根据权利要求1所述的分散式处理方法，其特征在于，当所述待执行任务的任务类型是数据查询任务时，在所述在线数据处理模式下运行所述本地隐私计算框架从而执行所述数据查询任务。4.根据权利要求1所述的分散式处理方法，其特征在于，当所述待执行任务的任务类型是预测任务时，根据所述待执行任务的时效性要求来选择在所述离线数据处理模式下或者在所述在线数据处理模式下运行所述本地隐私计算框架从而执行所述预测任务。5.根据权利要求4所述的分散式处理方法，其特征在于，所述待执行任务的任务类型是预测任务，所述待执行任务的任务要求还包括所述待执行任务的数据量，通过比较所述待执行任务的数据量和参考数据量来选择在所述离线数据处理模式下或者在所述在线数据处理模式下运行所述本地隐私计算框架从而执行所述预测任务，其中所述参考数据量是基于本地实时数据处理能力。6.根据权利要求5所述的分散式处理方法，其特征在于，所述参考数据量还基于本地实时网络通信条件。7.根据权利要求4所述的分散式处理方法，其特征在于，所述待执行任务的任务类型是预测任务，所述待执行任务的任务要求还包括可信度要求，当所述预测任务的发起方的可信度不满足所述可信度要求时，在所述离线数据处理模式下运行所述本地隐私计算框架从而执行所述预测任务。8.根据权利要求4所述的分散式处理方法，其特征在于，所述待执行任务的任务类型是预测任务，当所述预测任务是自动驾驶场景下的规避操作预测任务或者电商场景下的推荐操作预测任务或者金融场景下的违规行为预测任务时，在所述在线数据处理模式下运行所述本地隐私计算框架从而执行所述预测任务。9.根据权利要求4所述的分散式处理方法，其特征在于，所述待执行任务是多个任务中的一个任务，所述多个任务的任务类型均是预测任务，所述分散式处理方法还包括：根据所
述多个任务各自的时效性要求进行排序并在所述在线数据处理模式下运行所述本地隐私计算框架从而执行所述多个任务中时效性要求排序较高的任务。10.根据权利要求1所述的分散式处理方法，其特征在于，所述本地数据管理系统的本地存储器包括第一数据仓库和第二数据仓库，其中所述第一数据仓库用于存储本地特征数据集的元信息，所述第二数据仓库用于存储与所述本地特征数据集对应的本地ID集和所述本地特征数据集，其中所述数据导出模块配置为：通过所述第一数据仓库所存储的所述本地特征数据集的元信息或者所述第二数据仓库所存储的所述本地ID集，获得并导出与所述待执行任务相关联的ID集。11.根据权利要求10所述的分散式处理方法，其特征在于，所述数据导出模块还配置为：基于与所述待执行任务相关联的ID集，从所述第二数据仓库导出与所述待执行任务相关联的特征数据集。12.根据权利要求10所述的分散式处理方法，其特征在于，所述待执行任务的任务类型是数据求交任务，所述本地隐私计算框架在所述离线数据处理模式下运行并且所述数据导出模块从所述第二数据仓库导出与所述数据求交任务相关联的ID集用于执行所述数据求交任务。13.根据权利要求10所述的分散式处理方法，其特征在于，所述待执行任务的任务类型是建模任务，所述本地隐私计算框架在所述离线数据处理模式下运行并且所述数据导出模块从所述第二数据仓库导出与所述建模任务相关联的特征数据集用于执行所述建模任务。14.根据权利要求10所述的分散式处理方法，其特征在于，所述待执行任务的任务类型是离线预测任务，所述本地隐私计算框架在所述离线数据处理模式下运行并且所述数据导出模块从...

【专利技术属性】
技术研发人员：薛新江，高晓龙，
申请(专利权)人：深圳致星科技有限公司，
类型：发明
国别省市：