【技术实现步骤摘要】
一种提升分布式学习系统拜占庭鲁棒性的防御代理方法
本专利技术属于分布式人工智能
，具体涉及一种提升分布式学习系统拜占庭鲁棒性的防御代理方法。
技术介绍
随着深度学习技术的不断发展，海量训练数据正投入到基于机器学习的分类器的训练过程中，在分布式平台上构建分类器也逐渐成为工业界的主流趋势。然而，由于传输错误、蓄意篡改等因素，分布式学习系统中部分工作节点可能向主节点提交被篡改的梯度诱使主节点的梯度合并算法异常，导致参数更新决策错误，以扰乱分类器的正常训练过程，这通常被称作针对分布式学习系统的拜占庭攻击。现有拜占庭鲁棒性提升方法大多依赖于梯度间的“多数表决机制”，一旦系统中的多数工作节点出现拜占庭异常或者被恶意控制之后，这些防御机制将失效，无法使分布式学习系统获得令人满意的拜占庭鲁棒性。
技术实现思路
本专利技术针对分布式学习系统的拜占庭攻击，提出一种提升分布式学习系统拜占庭鲁棒性的防御代理方法。本专利技术中，所述的分布式学习系统，由一个中心计算节点(简称“主节点”)以及多个工作计算节点(简称“工作...
【技术保护点】
1.一种提升分布式学习系统拜占庭鲁棒性的防御代理方法，其特征在于，所述分布式学习系统由一个中心计算节点以及多个工作计算节点构成，中心计算节点简称主节点，工作计算节点简称工作节点；在系统训练过程中，主节点通过迭代地聚合由工作节点计算并上传的分类器梯度方向，以更新其内部维护的全局分类器参数，并下发更新后的全局分类器参数，如此迭代至预设训练轮数；上述一次迭代过程简称一个“训练轮次”；/n在系统的主节点额外部署一基于神经网络的适应性可信度评估模块；该评估模块根据当前全局分类器参数、各工作节点提交的梯度及上一训练轮次的可信度评估值，动态评估当前训练轮次各个工作节点提交梯度的可信度，并...
【技术特征摘要】
1.一种提升分布式学习系统拜占庭鲁棒性的防御代理方法，其特征在于，所述分布式学习系统由一个中心计算节点以及多个工作计算节点构成，中心计算节点简称主节点，工作计算节点简称工作节点；在系统训练过程中，主节点通过迭代地聚合由工作节点计算并上传的分类器梯度方向，以更新其内部维护的全局分类器参数，并下发更新后的全局分类器参数，如此迭代至预设训练轮数；上述一次迭代过程简称一个“训练轮次”；
在系统的主节点额外部署一基于神经网络的适应性可信度评估模块；该评估模块根据当前全局分类器参数、各工作节点提交的梯度及上一训练轮次的可信度评估值，动态评估当前训练轮次各个工作节点提交梯度的可信度，并将可信度作为权重以合并各工作节点提交梯度，从而更新当前主节点上维护的全局分类器参数，并将利用主节点私有的小验证集评估参数更新前后分类器的损失函数变化情况，为适应性可信度评估模块生成相应的奖励信号，以指导该模块的参数优化；在分布式学习系统训练过程中，适应性可信度评估模块以上述方式动态调整对各个工作节点的可行度评估值，缓解恶意工作节点对系统训练过程的影响，以提升分布式学习系统的拜占庭鲁棒性。
2.根据权利要求1所述的提升分布式学习系统拜占庭鲁棒性的防御代理方法，其特征在于，首先，利用基于神经网络结构的适应性可信度评估模块，以动态评估各提交梯度的可信度；然后，将可信度交与主节点作为参数更新过程合并工作节点提交梯度的权重，以更新当前主节点上维护的全局分类器参数，并将更新后的参数在主节点私有的小验证集上进行评估，生成相应的奖励信号；最后，根据该奖励信号在强化学习的框架下进一步调整适应性可信度评估模块的参数，以保证学习过程寻找到准确度高的较优的分类器；具体步骤如下：
步骤一、初始化：在分布式系统训练开始前，分别准备主节点上的私有小验证集和初始化适应性可信度评估模块的可信度向量；
(1.1)准备小验证集：从训练数据集中均匀采样K个随机数据样本作为小验证集，记为S；
(1.2)可信度向量初始化：初始化零时刻适应性可信度评估模块的可信度向量其中，n为工作节点个数；以下步骤迭代执行直至达到对应分布式学习任务的预设训练轮数；
步骤二、...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。