联邦学习审计的数据收集方法、介质、装置及程序产品制造方法及图纸

本发明专利技术涉及了联邦学习审计的数据收集方法、介质、装置及程序产品，其中该方法包括：从第一参与方的应用层网关抓取第一参与方与其他参与方之间与联邦学习相关的传输数据；其中第一参与方的应用层网关通过应用层路由转发节点与其他参与方的应用层网关连接；根据下游所绑定的审计应用的审计模式，将传输数据相应存储至与下游所绑定的审计应用的审计模式对应的存储单元，以供审计应用从对应的存储单元获取传输数据。通过从应用层收集联邦学习中的传输数据，不仅提高数据收集效率，而且确保了所收集到的传输数据的可信度。同事满足了不同审计模式下的审计应用获取传输数据在时效方面上的不同诉求，提升了兼容性。提升了兼容性。提升了兼容性。

【技术实现步骤摘要】
联邦学习审计的数据收集方法、介质、装置及程序产品


[0001]本专利技术涉及数据安全和隐私保护
，具体涉及联邦学习审计的数据收集方法、联邦学习审计的数据收集装置、联邦学习审计装置、程序产品、电子设备及存储介质。

技术介绍

[0002]随着人工智能和大数据挖掘分析等应用领域的发展，对数据量的需求越来越大。高质量的数据往往来源于经营活动中产生和积累的应用数据，而应用数据往往分散在不同的组织和个体手上，跨行业跨领域的应用数据往往也是分散的。随着数据所有权的重要性、用户隐私和数据安全等受到更多重视，也随着法律法规对数据收集处理提出更严格的约束和要求，掌握应用数据的各个组织或个体往往不愿意或者没有合适手段进行彼此之间的合作，从而很难让各自掌握的应用数据共同发挥作用。这种数据分享和协同合作方面的困境被称之为数据孤岛现象。为了解决跨行业跨组织的数据合作难题，尤其为解决隐私保护及数据安全的问题，提出了联邦学习的概念。联邦学习指的是拥有数据的各个参与方，在不共享受保护的隐私数据且自有数据不传递到外部的前提下，通过加密的方式交换模型相关信息从而实现协同优化联邦学习模型的过程。
[0003]联邦学习算法从理论上保证了数据隐私的安全性，但是在实际的工业着陆中，仍然需要考虑许多系统级的安全风险，例如在进行联邦学习任务的过程中可能遭遇到不同的故障发生或者通讯干扰的情况，甚至可能存在恶意的参与方以破坏联邦学习任务为目的的恶意攻击和以泄露隐私为目的的恶意攻击。因此在进行联邦学习的过程中，需要收集并审计联邦学习各参与方的传输数据，以确保联邦学习参与方特别是有众多参与方参与的联邦学习任务情况下的通信和计算的安全性。联邦学习的各个参与方需要在彼此之间传输大量的数据，其通信出入口存在巨大的出入通信/流量的需求。在这种情况下，如何高效高速、可靠可信地收集参与方与其他参与方之间的传输数据，以及如何满足不同审计模式下的审计应用获取传输数据在时效方面上的不同诉求，是目前亟需解决的技术难题。

技术实现思路

[0004]本专利技术提供联邦学习审计的数据收集方法、联邦学习审计的数据收集装置、联邦学习审计装置、程序产品、电子设备及存储介质。通过从应用层收集联邦学习中的传输数据，不仅极大地提高数据收集效率，而且确保了所收集的传输数据的可信度。同时可满足参与方的审计应用在不同审计模式下的数据使用诉求，有利于整体的兼容性。
[0005]第一方面，提供一种联邦学习审计的数据收集方法，所方法包括：从第一参与方的应用层网关获取所述第一参与方与其他参与方之间与联邦学习相关的传输数据；其中，所述第一参与方的应用层网关通过应用层路由转发节点与所述其他参与方的应用层网关连接；根据下游所绑定的审计应用的审计模式，将所述传输数据相应存储至与所述审计模式对应的存储单元，以供所述审计应用从对应的存储单元获取所述传输数据。
[0006]可选的实施例中，所述传输数据包括：控制流信息、算法流信息、数据流信息中的
至少一种；所述控制流信息与所述第一参与方所参与的联邦学习任务相关；所述算法流信息与联邦学习算法相关，所述联邦学习算法对应所述联邦学习任务中的算法模块对应的算法；所述数据流信息与所述第一参与方所参与的联邦学习算法的通信数据相关。
[0007]可选的实施例中，所述根据下游所绑定的审计应用的审计模式，将所述传输数据相应存储至与所述审计模式对应的存储单元，以供所述审计应用从对应的存储单元获取所述传输数据，包括：所述审计应用的审计模式包括实时审计模式和事后审计模式；若下游所绑定的审计应用的审计模式为实时审计模式，则将该审计应用对应的传输数据存储至缓冲区，以供所述审计应用在接收到数据读取指令后，从所述缓冲区读取该审计应用对应的传输数据；若下游所绑定的审计应用的审计模式为事后审计模式，则将该审计应用对应的传输数据存储至时序数据库或者区块链，以供所述审计应用在需要使用所述传输数据的情况下，从所述时序数据库或者区块链读取该审计应用对应的传输数据。
[0008]可选的实施例中，在实时审计模式下的审计应用从所述缓冲区读取该审计应用对应的传输数据之后，所述方法还包括：确定是否对所述缓冲区设定数据持久化，若是，则将所述缓冲区中的传输数据存储至所述时序数据库或者区块链。
[0009]可选的实施例中，所述从第一参与方的应用层网关获取所述第一参与方与其他参与方之间的传输数据，包括：当且仅当所述第一参与方开启控制流审计，则从所述应用层网关获取所述第一参与方与其他参与方之间的所述控制流信息；当且仅当所述第一参与方开启算法流审计，则从所述应用层网关获取所述第一参与方与其他参与方之间的所述算法流信息；当且仅当所述第一参与方开启数据流审计，则从所述应用层网关获取所述第一参与方与其他参与方之间所述数据流信息；其中，所述控制流审计用于校验所述传输数据的控制流信息；所述算法流审计用于检验所述传输数据的算法流信息；所述数据流审计用于校验所述传输数据的数据流信息。
[0010]可选的实施例中，在从第一参与方的应用层网关获取所述第一参与方与其他参与方之间的传输数据之前，所述方法还包括：获取所述第一参与方的审计级别，并根据所述审计级别确定：所述第一参与方是否开启所述控制流审计；所述第一参与方是否开启所述数据流审计；所述第一参与方是否开启所述算法流审计。
[0011]可选的实施例中，所述控制流信息预先设定通过一元调用进行传输，所述从所述应用层网关获取所述第一参与方与其他参与方之间的所述控制流信息，包括：从所述应用层网关抓取所述一元调用的单个响应对象，从而获得所述第一参与方与其他参与方之间的所述控制流信息。
[0012]可选的实施例中，所述算法流信息和/或所述数据流信息预先设定通过流式调用进行传输，从所述应用层网关抓取所述第一参与方与其他参与方之间的所述算法流信息和/或所述数据流信息，包括：从所述应用层网关抓取所述流式调用的多个响应对象，且对所述多个响应对象中的多个子算法流信息进行拼装处理，和/或，对所述多个响应对象中的多个子数据流信息进行拼装处理；其中所述多个响应对象和所述多个子算法流信息一一对应，所述多个响应对象和所述多个子数据流信息一一对应；获得所述第一参与方与其他参与方之间的所述算法流信息和/或所述数据流信息。
[0013]第二方面，提供一种联邦学习审计的数据收集装置，所述数据收集装置包括：数据收集模块，用于从第一参与方的应用层网关抓取所述第一参与方与其他参与方之间与联邦
学习相关的传输数据；其中，所述第一参与方的应用层网关通过应用层路由转发节点与所述其他参与方的应用层网关连接；数据存储模块，用于根据下游所绑定的审计应用的审计模式，将所述传输数据相应存储至与所述审计模式对应的存储单元，以供所述审计应用从对应的存储单元获取所述传输数据；
[0014]第三方面，提供一种计算机可读存储介质，该计算机存储介质保存计算机指令，该计算机指令被处理装置执行时，使得所述处理装置执行根据第一方面任一实施例中描述的联邦学习审计的数据收集方法的步骤。
[0015]第四方面，提供本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种联邦学习审计的数据收集方法，其特征在于，所方法包括：从第一参与方的应用层网关获取所述第一参与方与其他参与方之间与联邦学习相关的传输数据；其中，所述第一参与方的应用层网关通过应用层路由转发节点与所述其他参与方的应用层网关连接；根据下游所绑定的审计应用的审计模式，将所述传输数据相应存储至与所述审计模式对应的存储单元，以供所述审计应用从对应的存储单元获取所述传输数据。2.根据权利要求1所述的联邦学习审计的数据收集方法，其特征在于，所述传输数据包括：控制流信息、算法流信息、数据流信息中的至少一种；所述控制流信息与所述第一参与方所参与的联邦学习任务相关；所述算法流信息与联邦学习算法相关，所述联邦学习算法对应所述联邦学习任务中的算法模块对应的算法；所述数据流信息与所述第一参与方所参与的联邦学习算法的通信数据相关。3.根据权利要求2所述的联邦学习审计的数据收集方法，其特征在于，所述根据下游所绑定的审计应用的审计模式，将所述传输数据相应存储至与所述审计模式对应的存储单元，以供所述审计应用从对应的存储单元获取所述传输数据，包括：所述审计应用的审计模式包括实时审计模式和事后审计模式；若下游所绑定的审计应用的审计模式为实时审计模式，则将该审计应用对应的传输数据存储至缓冲区，以供所述审计应用在接收到数据读取指令后，从所述缓冲区读取该审计应用对应的传输数据；若下游所绑定的审计应用的审计模式为事后审计模式，则将该审计应用对应的传输数据存储至时序数据库或者区块链，以供所述审计应用在需要使用所述传输数据的情况下，从所述时序数据库或者区块链读取该审计应用对应的传输数据。4.根据权利要求3所述的联邦学习审计的数据收集方法，其特征在于，在实时审计模式下的审计应用从所述缓冲区读取该审计应用对应的传输数据之后，所述方法还包括：确定是否对所述缓冲区设定数据持久化，若是，则将所述缓冲区中的传输数据存储至所述时序数据库或者区块链。5.根据权利要求2所述的联邦学习审计的数据收集方法，其特征在于，所述从第一参与方的应用层网关获取所述第一参与方与其他参与方之间的传输数据，包括：当且仅当所述第一参与方开启控制流审计，则从所述应用层网关获取所述第一参与方与其他参与方之间的所述控制流信息；当且仅当所述第一参与方开启算法流审计，则从所述应用层网关获取所述第一参与方与其他参与方之间的所述算法流信息；当且仅当所述第一参与方开启数据流审计，则从所述应用层网关获取所述第一参与方与其他参与方之间所述数据流信息；其中，所述控制流审计用于校验所述传输数据的控制流信息；所述算法流审计用于检验所述传输数据的算法流信息；所述数据流审计用于校验所述传输数据的数据流信息。6.根据权利要求5所述的联邦学习审计的数据收集方法，其特征在于，在从第一参与方的应用层网关获取所述第一参与方与其他参与方之间的传输数据之前，所述方法还包括：获取...

【专利技术属性】
技术研发人员：李晋杰，孙军欢，陈沫，
申请(专利权)人：深圳致星科技有限公司，
类型：发明
国别省市：