基于双端安全防护的联邦学习方法及系统技术方案

本发明专利技术提供一种基于双端安全防护的联邦学习方法及系统，属于联邦学习技术领域，各客户端的局部数据须经数据筛选器筛选后输入主任务进行局部训练，并保存筛选结果生成局部数据描述；各客户端将局部模型与局部数据描述一同上传给服务器；当服务器存有足够多的客户端历史模型信息后运行模型筛选器，利用各客户端处理后的局部模型集与局部数据描述对局部模型质量进行审查，后续服务器将根据客户端局部模型质量审查结果指导联邦训练与聚合过程。本发明专利技术在客户端对局部数据集进行离线的自动审查，在服务器端对收集到的局部模型进行审查，在不违反联邦学习隐私保护原则的前提对数据、模型安全进行全面防护，提高了联邦学习的鲁棒性与可信度。

【技术实现步骤摘要】

本专利技术涉及联邦学习，具体涉及一种基于双端安全防护的联邦学习方法及系统。

技术介绍

1、联邦学习作为一种前景广阔的分布式机器学习范式，可用于在服务器上基于多个客户端私有的分布数据集协同训练深度学习模型。与传统的分布式学习方法相比，联邦学习有以下几点优势：a)可以利用以往无法获取的海量设备上私有的数据和算力资源；b)客户端的私有数据集不会被共享和上传，因此可以保护数据隐私并节省通信带宽；c)可以众包潜在的无限设备资源。因此，联邦学习有望成为泛在智联的主要基础。

2、然而，联邦学习中训练数据的“可用但不可见”特性导致了安全风险。联邦学习任务通常要依赖大量客户端的支持，而一些不可靠的客户端尤其是众包而来的客户端，可能在联邦训练前被一些攻击者操纵或劫持，面临针对训练数据的数据中毒攻击。更具挑战的是由于数据隐私保护原则，服务器无法直接审查各客户端的私有数据集，而训练数据质量将决定模型训练质量。因此，对于服务器“不可见”的局部数据以及由此训练而来的局部模型的安全性无法保障，会对联邦学习主任务造成不良影响。

3、联邦学习作为一种分布式机器学习范本文档来自技高网...

【技术保护点】

1.一种基于双端安全防护的联邦学习方法，其特征在于，包括：

2.根据权利要求1所述的基于双端安全防护的联邦学习方法，其特征在于，利用针对数据和标签双重筛选的分类自编码器进行数据筛选器的训练；该分类自编码器用潜在表示z额外训练一个辅助分类器，用REcae表示重构误差，Lcae表示辅助分类器在表示层z上的损失；

3.根据权利要求1所述的基于双端安全防护的联邦学习方法，其特征在于，利用基于概率分布的模型筛选器在服务器中将各个客户端的历史模型信息集拟合为特定的概率分布得到各客户端局部模型分布，结合数据筛选器上传的各客户端局部数据描述利用基于概率分布的方法计算各个客户端模型...

【技术特征摘要】

1.一种基于双端安全防护的联邦学习方法，其特征在于，包括：

2.根据权利要求1所述的基于双端安全防护的联邦学习方法，其特征在于，利用针对数据和标签双重筛选的分类自编码器进行数据筛选器的训练；该分类自编码器用潜在表示z额外训练一个辅助分类器，用recae表示重构误差，lcae表示辅助分类器在表示层z上的损失；

3.根据权利要求1所述的基于双端安全防护的联邦学习方法，其特征在于，利用基于概率分布的模型筛选器在服务器中将各个客户端的历史模型信息集拟合为特定的概率分布得到各客户端局部模型分布，结合数据筛选器上传的各客户端局部数据描述利用基于概率分布的方法计算各个客户端模型分布间的差异，根据所述差异程度计算出各个客户端对应的局部模型异常程度。

4.根据权利要求3所述的基于双端安全防护的联邦学习方法，其特征在于，服务器为每个客户端维护一个历史模型集，每轮次联邦聚合后将局部模型进行特征提取后存至对应客户端模型集中；经过一定训练轮次后，模型筛选器将每个客户端历史模型集中的特征分布拟合为某一特定概率分布；模型筛选器结合数据筛选器上传的各客户端局部数据描述中的信息设定基准客户端，利用基于概率分布的方法衡量基准客户端与其他客户端的模型分布差异；模型筛选器根据模型分布差异程度指导后续联邦聚合的局部模型选择，优先聚合与基准差异度低的客户端局部模型，适当忽略与基准差异度高的客户端局部模型。

5.根据权利要求1所述...

【专利技术属性】
技术研发人员：高博，孙蔚，熊轲，陆杨，张志飞，
申请(专利权)人：北京交通大学，
类型：发明
国别省市：