【技术实现步骤摘要】
本专利技术公开一种方法,涉及机器人定位，具体地说是一种基于分布式机器学习的图片分类模型聚合方法。
技术介绍
1、基于深度学习的图片分类网络，大多是在精心制作的数据集下进行训练，如果对其部分数据经行稍加改动，或者将一些样本集划分为特定的标签，网络的识别能力会受到一定的影响，甚至将图片预测成恶意参与者指定的类别，造成重大影响。并且，随着数据规模的爆炸性增长，图片分类模型的训练过程从单一节点训练向多节点联合训练的分布式学习方式发展，增加了对图片分类模型的攻击方式，比如：负梯度攻击、精小扰动攻击等。针对图片分类领域中分布式学习的模型攻击问题，现有方法主要利用模型训练过程中不同参与者提供的模型参数，在数学逻辑上找到参数之间的差异性，通过参数中的单一中值或者多个中值平均，来寻找到模型训练过程中原始梯度方向，然而，这些方式并不能很好的识别出精小的扰动攻击，导致最终训练出的模型效果不佳，并且，在图片分类模型的训练过程中，恶意的参与者或者计算节点可以通过传输错误的数据干扰分类模型的准确率，以及将一些样本划为指定标签控制分类模型的输出，甚至通过精心设计的模型参数使得类似攻击更加的难以检测出来。
技术实现思路
1、本专利技术针对现有技术的问题，提供一种基于分布式机器学习的图片分类模型聚合方法，主要解决分布式学习领域中图片分类的模型攻击问题。
2、本专利技术提出的具体方案是：
3、本专利技术提供一种基于分布式机器学习的图片分类模型聚合方法，采用并行计算的参数服务器架构，通过各个节点
4、通过原节点统计本地模型参数数据的合法性及有效性比例，将符合比例要求的本地模型参数数据发送到参数服务器，通过参数服务器进行服务器端验证，对获取的各个本地模型参数数据进行参数聚合并分发给各个节点，开始新一轮的模型训练，直到本地的模型达到收敛。
5、进一步，所述的一种基于分布式机器学习的图片分类模型聚合方法中执行计算节点端验证过程，包括：
6、初始化节点的服务器；
7、某一节点如果收到节点k发送过来的参数请求指令：将最新参数数据wt发送给节点；
8、如果收到节点k发送过来的参数更新指令：将梯度更新gk添加到梯度更新集d中；
9、如果梯度更新集d的长度等于节点数量n：将梯度更新集d返回给某一节点验证，其中某一节点选择通过计算上一次参数数据在样本集的损失和上一次参数数据和验证梯度更新聚合后的残数在样本的损失，如果上一次的损失更大则标记为1，否则标记为0，收集验证结果，并将1的统计值超过阈值q的梯度更新用于参数服务器的参数聚合更新，所述阈值q表示至少有q个节点验证通过了梯度更新。
10、进一步，所述的一种基于分布式机器学习的图片分类模型聚合方法中进行服务器端验证，包括：
11、初始化参数服务器；
12、如果收到节点k发送过来的参数请求指令:将最新参数数据wt发送给节点，
13、如果收到节点k发送过来的参数更新指令:将梯度更新gk添加到梯度更新集d中，
14、如果梯度更新集d的长度等于节点数量n:将待验证梯度更新和其他梯度更新做余弦相似度计算，如果余弦相似度在0-1之间的标记为1，否则标记为0，通过参数服务器对所有梯度更新的1值进行统计，对统计数值超过阈值q的梯度更新用于后续的参数数据聚合更新，并更新参数数据，分发给节点新的参数数据，开始节点新一轮的模型训练。
15、进一步，所述的一种基于分布式机器学习的图片分类模型聚合方法中利用数据集mnist和cifar-10验证收敛后的模型。
16、本专利技术还提供一种基于分布式机器学习的图片分类模型聚合装置，节点验证模块和参数服务器验证模块，
17、通过节点验证模块通过各个节点执行计算节点端验证过程，通过计算节点端验证过程验证彼此的本地模型参数数据并将验证结果返回本地模型数据的原节点，通过原节点统计本地模型参数数据的合法性及有效性比例，将符合比例要求的本地模型参数数据发送到参数服务器，其中通过各个节点进行各自本地的模型训练，通过各个节点将训练好的本地模型参数数据发送给其他节点进行合法性及有效性验证；
18、参数服务器验证模块通过参数服务器进行服务器端验证，对获取的各个本地模型参数数据进行参数聚合并分发给各个节点，开始新一轮的模型训练，直到本地的模型达到收敛。
19、进一步，所述的一种基于分布式机器学习的图片分类模型聚合装置中节点验证模块执行计算节点端验证过程，包括：
20、初始化节点的服务器；
21、某一节点如果收到节点k发送过来的参数请求指令：将最新参数数据wt发送给节点；
22、如果收到节点k发送过来的参数更新指令：将梯度更新gk添加到梯度更新集d中；
23、如果梯度更新集d的长度等于节点数量n：将梯度更新集d返回给某一节点验证，其中某一节点选择通过计算上一次参数数据在样本集的损失和上一次参数数据和验证梯度更新聚合后的残数在样本的损失，如果上一次的损失更大则标记为1，否则标记为0，收集验证结果，并将1的统计值超过阈值q的梯度更新用于参数服务器的参数聚合更新，所述阈值q表示至少有q个节点验证通过了梯度更新。
24、进一步，所述的一种基于分布式机器学习的图片分类模型聚合装置中参数服务器验证模块进行服务器端验证，包括：
25、初始化参数服务器；
26、如果收到节点k发送过来的参数请求指令:将最新参数数据wt发送给节点，
27、如果收到节点k发送过来的参数更新指令:将梯度更新gk添加到梯度更新集d中，
28、如果梯度更新集d的长度等于节点数量n:将待验证梯度更新和其他梯度更新做余弦相似度计算，如果余弦相似度在0-1之间的标记为1，否则标记为0，通过参数服务器对所有梯度更新的1值进行统计，对统计数值超过阈值q的梯度更新用于后续的参数数据聚合更新，并更新参数数据，分发给节点新的参数数据，开始节点新一轮的模型训练。
29、进一步，所述的一种基于分布式机器学习的图片分类模型聚合装置中还包括模型验证模块，模型验证模块利用数据集mnist和cifar-10验证收敛后的模型。
30、本专利技术的有益之处是：
31、本专利技术提供一种基于分布式机器学习的图片分类模型聚合方法，通过损失判定的方法，有效的防御了负梯度攻击等大偏差干扰攻击方式，对于精小的扰动攻击等小偏差干扰攻击方式，也能从中排除无益于模型训练的数据；通过多节点共识的方式，有效的排除了恶意用户间相互勾结的可能性；可进一步通过添加数字签名的传输方式，极大的增加了数据伪造的可能性，保证了数据传输过程中的正确性。
本文档来自技高网...【技术保护点】
1.一种基于分布式机器学习的图片分类模型聚合方法，其特征是采用并行计算的参数服务器架构，通过各个节点进行各自本地的模型训练，通过各个节点将训练好的本地模型参数数据发送给其他节点进行合法性及有效性验证，通过各个节点执行计算节点端验证过程，通过计算节点端验证过程验证彼此的本地模型参数数据并将验证结果返回本地模型数据的原节点，
2.根据权利要求1所述的一种基于分布式机器学习的图片分类模型聚合方法，其特征是执行计算节点端验证过程，包括：
3.根据权利要求2所述的一种基于分布式机器学习的图片分类模型聚合方法，其特征是进行服务器端验证，包括：
4.根据权利要求1所述的一种基于分布式机器学习的图片分类模型聚合方法，其特征是利用数据集MNIST和Cifar-10验证收敛后的模型。
5.一种基于分布式机器学习的图片分类模型聚合装置，其特征是节点验证模块和参数服务器验证模块，
6.根据权利要求5所述的一种基于分布式机器学习的图片分类模型聚合装置，其特征是节点验证模块执行计算节点端验证过程，包括：
7.根据权利要求6所述的一种基于
8.根据权利要求5所述的一种基于分布式机器学习的图片分类模型聚合装置，其特征是还包括模型验证模块，模型验证模块利用数据集MNIST和Cifar-10验证收敛后的模型。
...【技术特征摘要】
1.一种基于分布式机器学习的图片分类模型聚合方法，其特征是采用并行计算的参数服务器架构，通过各个节点进行各自本地的模型训练，通过各个节点将训练好的本地模型参数数据发送给其他节点进行合法性及有效性验证，通过各个节点执行计算节点端验证过程，通过计算节点端验证过程验证彼此的本地模型参数数据并将验证结果返回本地模型数据的原节点，
2.根据权利要求1所述的一种基于分布式机器学习的图片分类模型聚合方法，其特征是执行计算节点端验证过程，包括：
3.根据权利要求2所述的一种基于分布式机器学习的图片分类模型聚合方法，其特征是进行服务器端验证，包括：
4.根据权利要求1所述的一种基于分布式机器学习的图片分类模...
【专利技术属性】
技术研发人员：杜波超，王超，
申请(专利权)人：浪潮通信技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。