一种具有后门鲁棒性并衡量用户贡献度的联邦学习聚合算法制造技术

本发明专利技术公开了一种具有后门鲁棒性并衡量用户贡献度的联邦学习聚合算法，通过检测模型更新中可能存在后门的更新，对其进行加噪来消除后门，而正常更新不需要加噪，之后对所有更新利用shapley value方法计算出贡献度，根据每个更新的贡献度计算出其在聚合中所应占的权重，根据计算出来的权重进行模型聚合来更新全局模型，从而实现降低模型遭受后门攻击的风险，并度量每个节点的贡献度。对含有后门的恶意更新加噪从而消除后门在一定程度上会影响其主要训练任务的精确度，从而会降低其贡献度值，这也属于一种对于恶意节点的惩罚，最后根据每个更新的贡献度值计算每个更新的聚合权重而进行聚合而不是采用平均权重。

【技术实现步骤摘要】

本专利技术涉及人工智能安全(ai security)、联邦学习(federated learning)、后门攻击(backdoor attack)、合作博弈论(cooperative game theory)等，尤其涉及一种具有后门鲁棒性并衡量用户贡献度的联邦学习聚合算法。

技术介绍

1、随着计算机算力的逐步提升，许多过去难以实现的人工智能算法如今已经可以得到实际应用，深度学习更是掀起了一波浪潮，许多人工智能模型更是广泛应用于人类社会，包括人脸识别、语音识别、自动驾驶等，对于人类生活有着很大的改善与便利。

2、然而，人工智能技术的发展过程中面临着两大挑战，一是隐私数据泄漏造成的数据安全问题亟待解决，二是网络安全隔离和数据隐私保护法，如欧盟所推广的通用数据保护条例(gdpr)造成不同行业、部门之间存在数据壁垒，从而形成数据“孤岛”，各部门之间数据无法安全共享，而人工智能模型想要达到比较好的性能通常需要非常大量的数据集。

3、为了解决以上问题，谷歌提出了联邦学习技术，其通过将本地数据保留至本地，而仅与中心服务器交互模型更新的方式有效地保本文档来自技高网...

【技术保护点】

1.一种具有后门鲁棒性并衡量用户贡献度的联邦学习聚合算法，其特征在于，包括以下步骤：

2.根据权利要求1所述的具有后门鲁棒性并衡量用户贡献度的联邦学习聚合算法，其特征在于，所述的步骤S3中，所述的恶意更新检测算法采用基于梯度的检测方法，计算所有模型更新矩阵间的余弦相似性和L2范数距离，将余弦相似性差异较大的和L2范数距离差异大的视为恶意更新，并选取合适的L2范数距离作为剪裁边界(记为Cb)用于后续噪声计算，运用聚合算法将L2范数距离平均值比较大的分组中的模型更新进行裁剪以削弱其在聚合中的影响；采用基于概率统计学的方法，抽象出每个模型更新的概率分布，将概率分布较为异常的视为恶意...

【技术特征摘要】

1.一种具有后门鲁棒性并衡量用户贡献度的联邦学习聚合算法，其特征在于，包括以下步骤：

2.根据权利要求1所述的具有后门鲁棒性并衡量用户贡献度的联邦学习聚合算法，其特征在于，所述的步骤s3中，所述的恶意更新检测算法采用基于梯度的检测方法，计算所有模型更新矩阵间的余弦相似性和l2范数距离，将余弦相似性差异较大的和l2范数距离差异大的视为恶意更新，并选取合适的l2范数距离作为剪裁边界(记为cb)用于后续噪声计算，运用聚合算法将l2范数距离平均值比较大的分组中的模型更新进行裁剪以削弱其在聚合中的影响；采用基于概率统计学的方法，抽象出每个模型更新的概率分布，将概率分布较为异常的视为恶意更新。

3.根据权利要求1或2所...

【专利技术属性】
技术研发人员：杨子祺，王奕霖，
申请(专利权)人：浙江大学，
类型：发明
国别省市：