基于区块链的多代理异构学习框架制造技术

本发明专利技术提供了一种基于区块链的多代理异构学习框架，包括以下步骤：S1，使用自编码器进行本地辨别性特征提取；S2，在非独立同分布数据上进行联邦学习；S3，使用区块链进行梯度和权重隐私保护；S4，使用选择性梯度追踪实现通信效率和更快收敛，本发明专利技术具有更快的训练收敛速度、更高的通信效率，且隐私性和保密性高的优点。优点。优点。

【技术实现步骤摘要】
基于区块链的多代理异构学习框架


[0001]本专利技术涉及人工智能及自然语言处理
，尤其涉及一种基于区块链的多代理异构学习框架。

技术介绍

[0002]智能设备的快速增长会导致其在私密环境中收集到大量数据，这会提高在与中心实体共享这些数据进行模型训练时的难度。目前，在联邦学习中，设备需要与中央服务器通信以更新全局模型，当数据非独立同分布时，设备需要传输更多的数据，这会增加通信开销，导致收敛速度变慢并增加能量消耗；且当数据非独立同分布时，全局模型无法准确捕捉数倍的特征，从而导致模型性能下降。

技术实现思路

[0003]针对现有技术中所存在的不足，本专利技术提供了一种基于区块链的多代理异构学习框架，具有更快的训练收敛速度、更高的通信效率，且隐私性和保密性高的优点。
[0004]本专利技术的上述技术目的是通过以下技术方案得以实现的：
[0005]基于区块链的多代理异构学习框架，包括以下步骤：
[0006]S1，使用自编码器进行本地辨别性特征提取；
[0007]S2，在非独立同分布数据上进行联邦学习；
[0008]S3，使用区块链进行梯度和权重隐私保护；
[0009]S4，使用选择性梯度追踪实现通信效率和更快收敛。
[0010]本专利技术进一步设置为：步骤S1中，每个代理的数据实例向量x
i
来自数据集其隐藏的潜在表示z
i
和重构的数据分别表示为：
[0011]z
i
＝σ(w
j<br/>x
i
+b
j
)
[0012][0013]其中w
i
是权重矩阵，b
i
是偏置向量，σ是激活函数，重构损失定义为：
[0014][0015]通过对自编码器的重构损失应用正则化项，可以得到一个VAE，正则化项来自于近似分布和目标分布p(z|x),之间的KL散度，表示为：
[0016][0017]其中，p(z)是潜在变量z的先验分布，q(z|x)是近似的后验分布，最小化学习模型的组合损失如下：
[0018][0019]本专利技术进一步设置为：步骤S2中，在每个代理训练本地VAE模型以提取其原始数据的辨别性特征之后，它们参与联邦学习框架以学习特定任务的全局模型，在联邦设置中，全
局服务器在每轮训练中将全局模型分发给所有参与代理，然后，每个代理在其本地数据集上本地训练全局模型，并将其学习到的参数传递给服务器；联邦学习环境中有N个代理，为了训练全局模型，分布式优化模型定义为：
[0020][0021]其中，p
k
是第k个代理的权重，使得p
k
≥0且设每个参与代理k持有S
k
个训练实例和标签对D
i
＝{(x
i
,y
i
),
…
,(x
n
,y
n
)}∈X
×
[C]，其中是一个定义在域上的分布，每个代理最小化其基于本地目标函数F
k
的经验风险估计：
[0022][0023]其中，是指定的损失函数，使用标准的联邦平均FedAvg算法，中央服务器将时间t的最新全局模型参数w
t
通信给所有参与代理，每个代理在第t轮的模型执行E&gt;1个本地定义的更新：
[0024][0025]其中，η是学习率；最后，服务器通过同步更新方案聚合每个代理的模型参数以产生全局模型w
t
，用于代理
‑
服务器通信。
[0026]本专利技术进一步设置为：步骤S3中，多个客户端模型使用区块链的联邦学习来安全地共享数据，计算模型信任度的步骤如下：
[0027]a，根据其他收集到的模型验证本地客户端模型的培训；
[0028]b，计算本地模型与其他本地模型集之间的准确性，模型的准确性计算为：
[0029][0030]c，计算信任度，根据历史信任值更新模型，根据模型的准确性给予奖励，计算方法为：
[0031][0032]其中，奖励的计算时，区块链根据具有较高准确性的训练模型验证信任值，如果值验证某个阈值，模型将被发布，否则将被拒绝；奖励范围是0到1，对具有较高偏差率的模型给予增加的信任，同时对具有较低偏差率的模型给予较少的信任；计算过程为：
[0033][0034]其中，是时间t时记录的区块链账本，A
b
是本地模型的输出定义函数，A
l
是其他
本地模型集的输出定义函数，|B|是本地模型的秘密共享值的绝对值，η是系统为每个本地客户端定义的信任分析参数；
[0035]d，信任值评估按照如下方式计算：
[0036]本专利技术进一步设置为：步骤S4中，计算全局梯度偏差的过程如下：在第一轮训练完成后，计算窗口大小为d的第一个f和最后一个l个全局梯度的平均值，然后将这两个平均值之间的偏差ρ与阈值T
s
进行比较，如果偏差较低，则计算两个平均值的均值如果偏差较高，则使用更多的训练轮次重复全局梯度探索过程，偏差ρ的计算公式为：
[0037][0038]其中，U
i
是每个计算的平均值，A是均值，R是平均值的数量。
[0039]本专利技术具有以下优点：
[0040]1、基于区块链的联邦学习(FL)架构实例与传统的联邦学习框架略有不同，在处理之前，所有的本地更新都经过验证。通过这种方式，可以进一步提高联邦学习的性能。与选定的本地模型相关联的矿工或本地参与者被定义为参与联邦学习训练和共识过程的训练矿工。通过这种方式，标准联邦学习架构中的信任因素得到了显著改善。
[0041]2、提出的框架能够在非独立同分布数据的异构环境下进行学习，并且具有更快的训练收敛速度，具有更高的通信效率。
附图说明
[0042]图1为本专利技术实施例中提出的基于区块链的异步和半同步多代理分布式学习框架在异质性环境下的总体框架图。
具体实施方式
[0043]下面结合附图及实施例对本专利技术中的技术方案进一步说明。
[0044]本实施例提出一种基于区块链的联邦深度学习框架，用于解决异构环境中的多代理学习问题，具体为解决非独立同分布医疗数据在分散式机器学习领域中面临的挑战。智能设备的快速增长会导致其在私密环境中收集到大量数据，这会提高在与中心实体共享这些数据进行模型训练时的难度。这个问题在医疗数据中尤其突出，因为医疗数据的影响因素包括成像协议的不同、患者在不同诊所的位置以及当地人口统计数据。该框架利用最先进的联邦学习策略，并将其与无监督学习技术和有效的异步梯度追踪方法相结合，以有效地从异构环境中的非独立同分布数据中学习。目标是开发一个强大且通信高效的分散式多代理深度学习模型，能够处理非独立同分布医疗数据带来的挑战，并通过基于联邦区块链的解决方案保护敏感医疗数据的隐私。
[004本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于区块链的多代理异构学习框架，其特征在于：包括以下步骤：S1，使用自编码器进行本地辨别性特征提取；S2，在非独立同分布数据上进行联邦学习；S3，使用区块链进行梯度和权重隐私保护；S4，使用选择性梯度追踪实现通信效率和更快收敛。2.如权利要求1所述的基于区块链的多代理异构学习框架，其特征在于：步骤S1中，每个代理的数据实例向量x
i
来自数据集其隐藏的潜在表示z
i
和重构的数据分别表示为：z
i
＝σ(w
j
x
i
+b
j
)其中w
i
是权重矩阵，b
i
是偏置向量，σ是激活函数，重构损失定义为：通过对自编码器的重构损失应用正则化项，可以得到一个VAE，正则化项来自于近似分布和目标分布p(z|x),之间的KL散度，表示为：其中，p(z)是潜在变量z的先验分布，q(z|x)是近似的后验分布，最小化学习模型的组合损失如下：3.如权利要求2所述的基于区块链的多代理异构学习框架，其特征在于：步骤S2中，在每个代理训练本地VAE模型以提取其原始数据的辨别性特征之后，它们参与联邦学习框架以学习特定任务的全局模型，在联邦设置中，全局服务器在每轮训练中将全局模型分发给所有参与代理，然后，每个代理在其本地数据集上本地训练全局模型，并将其学习到的参数传递给服务器；联邦学习环境中有N个代理，为了训练全局模型，分布式优化模型定义为：其中，p
k
是第k个代理的权重，使得p
k
≥0且设每个参与代理k持有S
k
个训练实例和标签对D
i
＝{(x
i
,y
i
),
…
,(x
n
,y
n
)}∈X
×
[C]，其中是一个定义在域上的分布，每个...

【专利技术属性】
技术研发人员：瑞嘉，阿曼乌拉，里亚兹乌拉汗，唐荣江，任晓龙，
申请(专利权)人：电子科技大学长三角研究院湖州，
类型：发明
国别省市：