基于模型模拟的联邦学习安全审计方法及装置制造方法及图纸

本申请涉及一种基于模型模拟的联邦学习安全审计方法及装置。方法包括：获得待审计方进行联邦学习算法的过程中与相对于待审计方的其它参与方之间的交互数据并且生成中间结果存证；根据联邦学习算法的流程信息生成模拟方；通过模拟方模拟进行特定联邦学习算法并且通过中间结果存证模拟其它参与方的计算过程；和根据模拟进行特定联邦学习算法的过程中模拟方接收到的数据以及中间结果存证，判断待审计方是否可信。如此简化模型模拟实现过程且提供高效可靠的安全审计。供高效可靠的安全审计。供高效可靠的安全审计。

【技术实现步骤摘要】
基于模型模拟的联邦学习安全审计方法及装置


[0001]本申请涉及数据安全和隐私保护
，具体涉及一种基于模型模拟的联邦学习安全审计方法及装置。

技术介绍

[0002]随着人工智能和大数据挖掘分析等应用领域的发展，对数据量的需求越来越大。例如训练人工智能的应用模型需要使用大量带有合适的数据标签或者特征数值的训练数据。高质量的数据往往来源于经营活动中产生和积累的应用数据。但是应用数据往往分散在不同的组织和个体手上，例如交易数据分散在各个金融机构，医疗诊断数据分散在各个医疗机构。跨行业跨领域的应用数据往往也是分散的，例如互联网领域的社交属性数据和电商交易数据往往由不同实体掌控。随着数据所有权的重要性、用户隐私和数据安全等受到更多重视，也随着法律法规对数据收集处理提出更严格的约束和要求，掌握应用数据的各个组织或个体往往不愿意或者没有合适手段进行彼此之间的合作，从而很难让各自掌握的应用数据共同发挥作用。这种数据分享和协同合作方面的困境被称之为数据孤岛现象。为了解决跨行业跨组织的数据合作难题，尤其是关键的隐私保护及数据安全的问题，提出了联邦学习的概念。联邦学习指的是拥有数据的各个参与方，在不共享受保护的隐私数据且自有数据不传递到外部的前提下，通过加密的方式交换模型相关信息从而实现协同优化联邦学习模型。其中，联邦学习根据训练数据在不同参与方之间的数据特征空间和样本空间的分布情况，可以划分为在数据特征空间重叠较大而在样本空间重叠较小的横向联邦学习，在数据特征空间重叠较小而在样本空间重叠较大的纵向联邦学习，以及在数据特征空间和样本空间均重叠较小的联邦迁移学习。
[0003]联邦学习允许多个数据方在不共享原始数据的前提下共同建立一个共有的机器学习模型，从而解决数据隐私、数据安全、数据访问权限、异构数据访问等问题。联邦学习任务可能涉及多个参与方，所有参与方都存在对各自出入通信的数据进行安全审计的需求。这是因为联邦学习任务进行过程中可能受到攻击，例如数据流攻击。数据流攻击指的是恶意的参与方或进程可能会发送错误或恶意的用于联邦学习的数据，例如位宽不一致的密钥、不合理的数据内容等。为此，需要一种基于模型模拟的联邦学习安全审计方法及装置，用于提供高效可靠的安全审计来确保有众多参与方参与的联邦学习任务情况下的通信和计算的安全性。

技术实现思路

[0004]第一方面，本申请实施例提供了一种基于模型模拟的安全审计方法，应用于联邦学习和隐私计算，包括：获得待审计方进行特定联邦学习算法的过程中与相对于所述待审计方的其它参与方之间的交互数据，并且根据所述交互数据生成中间结果存证；根据所述特定联邦学习算法的流程信息，生成模拟方用于模拟相对于所述待审计方的其它参与方；通过所述模拟方模拟进行所述特定联邦学习算法，并且通过所述中间结果存证模拟相对于
所述待审计方的其它参与方的计算过程；和根据所述模拟进行所述特定联邦学习算法的过程中所述模拟方接收到的数据以及所述中间结果存证，判断所述待审计方是否可信。
[0005]第一方面所描述的技术方案，采用了单边审计的方式，针对进行安全审计的对象也就是待审计方进行单独审计，从而提升模拟效率和审计结果产出速度；通过获得待审计方进行特定联邦学习算法的过程中与相对于所述待审计方的其它参与方之间的交互数据并且根据所述交互数据生成中间结果存证，从而简化了数据存证操作且保护了用户隐私数据；通过所述模拟方模拟进行所述特定联邦学习算法，并且通过所述中间结果存证模拟相对于所述待审计方的其它参与方的计算过程，从而大幅简化模型模拟操作以及避免验证其它参与方是否可信的风险；最后通过根据所述模拟进行所述特定联邦学习算法的过程中所述模拟方接收到的数据以及所述中间结果存证，从而简化数据比对操作，实现了提供高效可靠的安全审计来确保有众多参与方参与的联邦学习任务情况下的通信和计算的安全性。
[0006]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，根据所述模拟进行所述特定联邦学习算法的过程中所述模拟方接收到的数据以及所述中间结果存证，判断所述待审计方是否可信，包括：根据所述中间结果存证确定所述待审计方进行所述特定联邦学习算法的过程中发送给相对于所述待审计方的其它参与方的发送数据；通过比较所述模拟进行所述特定联邦学习算法的过程中所述模拟方接收到的数据和所述待审计方进行所述特定联邦学习算法的过程中发送给相对于所述待审计方的其它参与方的发送数据，生成数据比较结果；根据所述数据比较结果判断所述待审计方是否可信。
[0007]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，根据所述数据比较结果判断所述待审计方是否可信，包括：当所述数据比较结果中存在至少一次比较失败结果时，判断所述待审计方不可信。
[0008]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，根据所述数据比较结果判断所述待审计方是否可信，包括：根据所述数据比较结果生成审计报告，并根据所述审计报告判断所述待审计方是否可信。
[0009]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，通过所述模拟方模拟进行所述特定联邦学习算法，包括：通过所述待审计方根据所述特定联邦学习算法的流程信息调用所述待审计方的相应执行步骤，从而在所述模拟方和所述待审计方之间模拟进行所述特定联邦学习算法。
[0010]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，通过所述模拟方模拟进行所述特定联邦学习算法，包括：通过相对于所述待审计方和所述模拟方的第三方根据所述特定联邦学习算法的流程信息调用所述第三方的相应执行步骤，从而在所述模拟方和所述第三方之间模拟进行所述特定联邦学习算法，其中，所述第三方包括可信执行环境。
[0011]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述安全审计方法还包括：通过预设探测器，获得所述待审计方进行所述特定联邦学习算法的过程中的至少一个中间参数。
[0012]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述安全审计方法还包括：获得所述待审计方进行所述特定联邦学习算法的过程中的所有中间参数，并且通过所述所有中间参数模拟所述待审计方进行所述特定联邦学习算法的过程中
的计算过程。
[0013]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述预设探测器设置于所述待审计方和相对于所述待审计方的其他参与方之间的通信转发节点。
[0014]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述安全审计方法还包括：通过所述至少一个中间参数模拟与所述至少一个中间参数相关的计算过程。
[0015]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述安全审计方法还包括：根据所述至少一次比较失败结果，定位所述特定联邦学习算法的流程信息中的异常阶段。
[0016]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述数据比较结果本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于模型模拟的安全审计方法，应用于联邦学习和隐私计算，其特征在于，所述安全审计方法包括：获得待审计方进行特定联邦学习算法的过程中与相对于所述待审计方的其它参与方之间的交互数据，并且根据所述交互数据生成中间结果存证；根据所述特定联邦学习算法的流程信息，生成模拟方用于模拟相对于所述待审计方的其它参与方；通过所述模拟方模拟进行所述特定联邦学习算法，并且通过所述中间结果存证模拟相对于所述待审计方的其它参与方的计算过程；和根据所述模拟进行所述特定联邦学习算法的过程中所述模拟方接收到的数据以及所述中间结果存证，判断所述待审计方是否可信。2.根据权利要求1所述的安全审计方法，其特征在于，根据所述模拟进行所述特定联邦学习算法的过程中所述模拟方接收到的数据以及所述中间结果存证，判断所述待审计方是否可信，包括：根据所述中间结果存证确定所述待审计方进行所述特定联邦学习算法的过程中发送给相对于所述待审计方的其它参与方的发送数据；通过比较所述模拟进行所述特定联邦学习算法的过程中所述模拟方接收到的数据和所述待审计方进行所述特定联邦学习算法的过程中发送给相对于所述待审计方的其它参与方的发送数据，生成数据比较结果；根据所述数据比较结果判断所述待审计方是否可信。3.根据权利要求2所述的安全审计方法，其特征在于，根据所述数据比较结果判断所述待审计方是否可信，包括：当所述数据比较结果中存在至少一次比较失败结果时，判断所述待审计方不可信。4.根据权利要求2所述的安全审计方法，其特征在于，根据所述数据比较结果判断所述待审计方是否可信，包括：根据所述数据比较结果生成审计报告，并根据所述审计报告判断所述待审计方是否可信。5.根据权利要求1或2所述的安全审计方法，其特征在于，通过所述模拟方模拟进行所述特定联邦学习算法，包括：通过所述待审计方根据所述特定联邦学习算法的流程信息调用所述待审计方的相应执行步骤，从而在所述模拟方和所述待审计方之间模拟进行所述特定联邦学习算法。6.根据权利要求1或2所述的安全审计方法，其特征在于，通过所述模拟方模拟进行所述特定联邦学习算法，包括：通过相对于所述待审计方和所述模拟方的第三方根据所述特定联邦学习算法的流程信息调用所述第三方的相应执行步骤，从而在所述模拟方和所述第三方之间模拟进行所述特定联邦学习算法，其中，所述第三方包括可信执行环境。7.根据权利要求1所述的安全审计方法，其特征在于，所述安全审计方法还包括：通过预设探测器，获得所述待审计方进行所述特定联邦学习算法的过程中的至少一个中间参数。8.根据权利要求1所述的安全审计方法，其特征在于，所述安全审计方法还包括：
获得所述待审计方进行所述特定联邦学习算法的过程中的所有中间参数，并且通过所述所有中间参数模拟所述待审计方进行所述特定联邦学习算法的过程中的计算过程。9.根据权利要求7所述的安全审计方法，其特征在于，所述预设探测器设置于所述待审计方和相对于所述待审计方的其他参与方之间的通信转发节点。10.根据权利要求7所述的安全审计方法，其特征在于，所述安全审计方法还包括：通过所述至少一个中间参数模拟与所述至少一个中间参数相关的计算过程。11.根据权利要求3所述的安全审计方法，其特征在于，所述安全审计方法还包括：根据所述至少一次比较失败结果，定位所述特定联邦学习算法的流程信息中的异常阶段。12.根据权利要求2所述的安全审计方法，其特征在于，所述数据比较结果基于密态数据比较而生成。13.根据权利要求12所述的安全审计方法，其特征在于，所述数据比较结果基于二进制比较、数值比较或者数据内容比较而生成。14.根据权利要求7所述的安全审计方法，其特征在于，所述安全审计方法还包括：从多种预设联邦学习算法类型中选择与所述特定联邦学习算法对应的预设联邦学习算法类型，其中，所述多种预设联邦学习算法类型与多种探测器配置一一对应；根据与所选择的预设联邦学习算法类型对应的探测器配置，布置所述预设探测器。15.根据权利要求7所述的安全审计方法，其特征在于，所述安全审计方法还包括：根据所述特定联邦学习算法的流程信息确定所述待审计方和相对于所述待审计方的其他参与方之间的通信转发节点；设置所述预设探测器于所述通信转发节点并收集所述待审计方和相对于...

【专利技术属性】
技术研发人员：李晋杰，孙军欢，陈沫，
申请(专利权)人：深圳致星科技有限公司，
类型：发明
国别省市：