System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于区块链联邦学习的本地模型真值发现方法技术_技高网

基于区块链联邦学习的本地模型真值发现方法技术

技术编号:40193674 阅读:6 留言:0更新日期:2024-01-26 23:56
本发明专利技术公开了一种基于区块链联邦学习的本地模型真值发现方法,涉及区块链技术领域,包括:任务发布者通过区块链发布任务和初始的全局模型;参与训练的训练者下载任务和初始的全局模型,训练带有水印的本地模型;参与训练的训练者向区块链提交带有水印的本地模型;矿工对参与训练的训练者的信任值和本地模型进行验证,获取验证结果,将验证结果通过区块链广播或发送至任务发布者;任务发布者根据验证结果对训练者发放报酬;矿工获取记账权,获得记账权的矿工将通过验证的本地模型聚合为全局模型,并更新参与训练的训练者的信任值;获得记账权的矿工将打包好的区块进行广播,达成全网共识后添加在区块链中。本申请能够提高整个系统验证的效率。

【技术实现步骤摘要】

本专利技术属于区块链,具体涉及一种基于区块链联邦学习的本地模型真值发现方法


技术介绍

1、联邦学习是一种可以调动地理位置上散列分布的设备进行共同模型训练的先进技术,联邦学习不依赖于数据中心进行模型训练,解决了训练过程中训练数据不足的问题;此外,通过调动不同地理位置上的设备同时进行模型训练,还能解决数据孤岛问题;联邦学习极大地促进了人工智能的发展。

2、相关技术中,联邦学习面临诸如单点故障、投毒攻击、缺乏公平有效的激励等问题,为解决以上问题,通常情况下,引入区块链技术;区块链技术通过结合哈希算法,共识机制,以及可靠的激励机制,实现了去中心化,不可篡改以及可追溯性等特点,被广泛应用于物联网、云计算、金融和医疗等行业,以实现信息共享、防伪溯源、版权保护和隐私保护等目标;将区块链作为分布式账本记录联邦学习中的本地参数和全局参数,可以防止由于单点故障带来的危害,同时区块链也提供了一个公平可靠的激励平台,能够实现对参与训练节点行为的监督和评估;但是目前基于区块链的联邦学习研究主要集中在克服单点故障,监督训练者行为以及保存训练好的模型参数,缺乏对矿工节点和训练者的共谋问题研究,导致现有技术中共谋攻击会损害诚实训练者的利益,降低诚实训练者的参与积极性,导致最后训练好的全局模型性能不佳。

3、因此,亟需改善以上现有技术中存在的问题。


技术实现思路

1、为了解决现有技术中存在的上述问题,本专利技术提供了一种基于区块链联邦学习的本地模型真值发现方法。本专利技术要解决的技术问题通过以下技术方案实现:

2、第一方面,本申请提供一种基于区块链联邦学习的本地模型真值发现方法,包括:

3、任务发布者通过区块链发布任务和初始的全局模型;

4、参与训练的训练者从区块链下载任务和初始的全局模型,训练本地模型;其中,在训练本地模型时,嵌入该参与训练的训练者的区块链地址作为水印;

5、参与训练的训练者向区块链提交带有水印的本地模型;

6、矿工对参与训练的训练者的信任值和参与训练的训练者的本地模型进行验证,获取验证结果,并将验证结果通过区块链广播或发送至任务发布者;

7、任务发布者根据验证结果对参与训练的训练者发放报酬;

8、矿工获取记账权,获得记账权的矿工将通过验证的本地模型聚合为全局模型,并更新参与训练的训练者的信任值;

9、获得记账权的矿工将打包好的区块进行广播,达成全网共识后添加在区块链中。

10、可选地,在训练本地模型时,嵌入该参与训练的训练者的区块链地址作为水印的具体过程包括:

11、参与训练的训练者利用其私钥对其区块链地址进行签名,并将签名后的结果转化为{0,1}比特串;其中,参与训练的训练者包括i个,i个训练者在区块链上地址为add=add1,add2,…addi,addi的长度为t,i∈{1,2,…i};

12、选取卷积神经网络的第一卷层积层,设定第一层卷积层的卷积核张量大小w,w=s1×s2×d×l;获取第一层卷积层中多个卷积核的平均张量值并将第一层卷积层中多个卷积核的平均张量值进行展开,得到向量b;其中,s1为第一层卷积层的卷积核的长度,s2为第一层卷积层的卷积核的宽度,d为第一层卷积层的卷积核的深度,l为第一层卷积层中卷积核的数量;

13、任务发布者构建嵌入矩阵e;

14、设定进行s轮本地训练,将每一轮本地训练的向量b与嵌入矩阵e相乘,得到矩阵x;

15、对矩阵x中的每一个元素用sigmoid函数进行激活,得到矩阵z;

16、对参与训练的训练者的比特串与矩阵z进行拟合,得到每个参与训练的训练者的差值losswm,差值losswm的表达式为:

17、

18、其中,为第i个训练者的区块链地址的第t位,zt为矩阵z第t行第一列数值,t为区块链地址的总长度;

19、基于差值losswm,构建本地模型的总损失函数,总损失函数的表达式为:

20、losstotal=(1-λ)losstask+λ×losswm;

21、其中,losstask为联邦学习任务的损失函数,λ为训练水印的损失函数在总损失函数中的占比;

22、基于总损失函数,训练带有水印的本地模型。

23、可选地,参与训练的训练者的信任值包括模型质量信任值和训练者行为信任值

24、可选地,矿工对参与训练的训练者的信任值进行验证的具体过程包括:

25、矿工判断带有水印的本地模型对应的训练者的信任值是否大于等于最小阈值;

26、如果大于等于最小阈值,则训练者可以直接参与此次训练;

27、如果小于最小阈值,则训练者以概率β参与此次训练。

28、可选地,矿工对参与训练的训练者的信任值进行验证的具体过程还包括:

29、矿工判断带有水印的本地模型对应的训练者的信任值是否大于最大阈值;

30、如果大于最大阈值,则以概率α验证对应的训练者的所述本地模型;即,大于最大阈值的训练者以概率为1-α无需验证,直接参与聚合全局模型。

31、可选地,矿工对参与训练的训练者的信任值进行验证的具体过程包括:

32、如果带有水印的本地模型对应的训练者的信任值介于最小阈值与最大阈值之间;则矿工获取该训练者的模型质量信任值所处位置,以及获取训练者行为信任值所处位置,优先验证排名靠后的训练者的信任值。

33、可选地,最小阈值包括最小模型质量信任值tsqk和最小训练者行为信任值tsok;其中,为第一超参数,k-1为上一回合;

34、最大阈值包括最大模型质量信任值θqual和最大训练者行为信任值θoper,其中,η为第二超参数,k-1为上一回合。

35、可选地,矿工对参与训练的训练者的本地模型进行验证,获取验证结果的具体过程包括:

36、矿工获取任务发布者发布的任务的验证集;

37、基于验证集验证本地模型,将本地模型的识别准确度作为验证结果。

38、可选地,训练者的信任值的更新的具体过程包括:

39、训练者的模型质量信任值的更新的表达式为:

40、

41、其中,为任务发布者向参与训练的训练者发放的报酬,为矿工mj对训练者ti的信任值评估的偏差,ki为最近一次训练中训练者ti的信任值被更新的区块号,τ为时间衰减参数,为矿工mj对训练者的验证结果;

42、训练者的训练者行为信任值的更新的表达式为:

43、

44、其中,为每个矿工的信任值权重,为矿工mj对训练者ti的打分,f()为sigmoid函数。

45、可选地,矿工获取记账权的具体过程包括:

46、如果两个矿工同时获取记账权,则判断两个矿工的信任值,如果两个矿工的信任值不同,则记账权属于矿工的信任值大的矿工;如果两个矿工的信任值不同,本文档来自技高网...

【技术保护点】

1.一种基于区块链联邦学习的本地模型真值发现方法,其特征在于,包括:

2.根据权利要求1所述的基于区块链联邦学习的本地模型真值发现方法,其特征在于,所述在训练所述本地模型时,嵌入该参与训练的所述训练者的区块链地址作为水印的具体过程包括:

3.根据权利要求1所述的基于区块链联邦学习的本地模型真值发现方法,其特征在于,参与训练的所述训练者的信任值包括模型质量信任值和训练者行为信任值

4.根据权利要求1所述的基于区块链联邦学习的本地模型真值发现方法,其特征在于,所述矿工对参与训练的所述训练者的信任值进行验证的具体过程包括:

5.根据权利要求1所述的基于区块链联邦学习的本地模型真值发现方法,其特征在于,所述矿工对参与训练的所述训练者的信任值进行验证的具体过程还包括:

6.根据权利要求1所述的基于区块链联邦学习的本地模型真值发现方法,其特征在于,所述矿工对参与训练的所述训练者的信任值进行验证的具体过程包括:

7.根据权利要求6所述的基于区块链联邦学习的本地模型真值发现方法,其特征在于,

8.根据权利要求1所述的基于区块链联邦学习的本地模型真值发现方法,其特征在于,所述矿工对参与训练的所述训练者的所述本地模型进行验证,获取验证结果的具体过程包括:

9.根据权利要求1所述的基于区块链联邦学习的本地模型真值发现方法,其特征在于,所述训练者的信任值的更新的具体过程包括:

10.根据权利要求1所述的基于区块链联邦学习的本地模型真值发现方法,其特征在于,所述矿工获取记账权的具体过程包括:

...

【技术特征摘要】

1.一种基于区块链联邦学习的本地模型真值发现方法,其特征在于,包括:

2.根据权利要求1所述的基于区块链联邦学习的本地模型真值发现方法,其特征在于,所述在训练所述本地模型时,嵌入该参与训练的所述训练者的区块链地址作为水印的具体过程包括:

3.根据权利要求1所述的基于区块链联邦学习的本地模型真值发现方法,其特征在于,参与训练的所述训练者的信任值包括模型质量信任值和训练者行为信任值

4.根据权利要求1所述的基于区块链联邦学习的本地模型真值发现方法,其特征在于,所述矿工对参与训练的所述训练者的信任值进行验证的具体过程包括:

5.根据权利要求1所述的基于区块链联邦学习的本地模型真值发现方法,其特征在于,所述矿工对参与训练的所述训练者的信任值进行验证的...

【专利技术属性】
技术研发人员:刘康德梁雪芹闫峥
申请(专利权)人:西安电子科技大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1