一种基于区块链和联邦学习的四网融合数据共享方法技术

本发明专利技术公开了一种基于区块链和联邦学习的四网融合数据共享系统，包括数据设备、证书颁发机构服务器和区块链网络；其中区块链网络基于联邦学习方式，根据自聚合结果采用随机梯度算法对正常设备的全局模型进行更新，并记录共享行为；调用最新模型智能合约获取最新聚合结果和最新全局模型对临时设备的全局模型进行更新。本发明专利技术通过将联邦学习集成到区块链网络中，且不要求参与方总是保持在线，弥补了传统联邦学习方案要求设备一直在线的缺点，更符合实际场景，能够提高数据共享与融合的效率、安全性，同时做到事务处理智能化。同时做到事务处理智能化。同时做到事务处理智能化。

【技术实现步骤摘要】
一种基于区块链和联邦学习的四网融合数据共享方法


[0001]本专利技术涉及四网融合数据共享
，具体涉及一种基于区块链和联邦学习的四网融合数据共享方法。

技术介绍

[0002]轨道交通“四网融合”是指通过推动干线铁路网、城际铁路网、市域(郊)铁路网、城市轨道交通网“四网融合”，打造轨道上的城市群都市圈，起到推动都市圈发展的作用。为了提高轨道交通的连接性贯通性，建立一个功能定位精准、网络层次清晰、衔接一体高效的现代轨道交通系统，需要更精准的旅客的出行轨迹预测和交通流量时空分析，通过合理的换乘规划和列车调度等行为，提高干线铁路网、城际铁路网、市域(郊)铁路网、城市轨道交通的服务质量和旅客出行体验。然而，干线铁路网、城际铁路网、市域(郊)铁路网、城市轨道交通的有关数据隐私性强，甚至涉及机密，难以进行直接的共享，由此造成“数据孤岛”现象，导致上述协同工作无法进行。

技术实现思路

[0003]针对现有技术中的上述不足，本专利技术提供了一种基于区块链和联邦学习的四网融合数据共享方法。
[0004]为了达到上述专利技术目的，本专利技术采用的技术方案为：
[0005]一种基于区块链和联邦学习的四网融合数据共享系统，包括：
[0006]数据设备，用于向证书颁发机构服务器发送设备注册请求以获取颁发机构服务器分发的证书、公钥和密钥；根据获取的证书加入区块链网络，接收区块链网络发送的初始全局模型；利用本地数据集训练加入差分隐私的本地模型，并调用区块链网络中部署的智能合约上传本地梯度；
[0007]证书颁发机构服务器，用于响应数据设备发送的设备注册请求，验证数据设备的身份并向验证通过的数据设备分发证书、公钥和密钥；
[0008]区块链网络，由每台数据设备作为节点组成，并具有对新加入设备发送初始全局模型的责任；基于区块链与联邦学习相结合的方案，根据数据设备的在线状态动态选择贡献者，并根据数据设备上传的本地梯度触发自聚合智能合约和贡献评估智能合约；根据自聚合结果采用随机梯度算法对正常设备的全局模型进行更新，并记录共享行为；调用最新模型智能合约获取最新聚合结果和最新全局模型对临时设备的全局模型进行更新。
[0009]可选地，所述数据设备根据共享行为划分为数据请求设备和数据提供设备，其中向共享系统请求数据的设备为数据请求设备，响应数据请求的设备为数据提供设备；
[0010]所述数据请求设备用于向共享系统发送数据请求，所述数据请求包括设备ID、请求有效时长、交易预算、加密的初始全局模型和请求状态信息；基于数据提供设备的响应信息根据交易预算选择其中的一部分交易，并向响应的数据提供设备发送Fabric通道配置，所述Fabric通道配置允许所有响应的数据提供设备加入相同的任务通道以形成一个临时
协作组；
[0011]所述数据提供设备用于对接收的数据请求设备发送的数据请求进行验证，并根据区块链网络上的记录搜索数据请求设备的历史记录，向数据请求设备发送响应信息，通过响应信息提出交易；所述响应信息包括设备ID、数据大小、本设备工作持续时间、计算能力和本设备的公钥信息。
[0012]可选地，所述数据设备具体用于：
[0013]所述数据提供设备利用数据请求设备的公钥对区块链网络发送的初始全局模型进行解密，同时通过比较初始全局模型的Hash值，对初始全局模型进行验证，并对验证通过的初始全局模型进行训练；
[0014]并且利用数据提供设备的本地数据集，在训练参数中加入高斯差分隐私，采用基于高斯差分隐私的联邦平均算法训练本地模型，并采用自适应裁剪方法训练联邦学习模型。
[0015]可选地，所述数据设备具体用于：
[0016]数据提供设备采用下式计算本地梯度：
[0017][0018]其中，g
t
表示第t轮的本地梯度，L(W
i,t
,D
i
)表示，W
i,t
表示设备e
i
的在第t轮的基于本地数据集D
i
的本地模型参数；
[0019]并调用区块链网络中部署的带有数字签名的智能合约上传本地梯度；
[0020]数据请求设备收到关于梯度的交易后，通过验证数字签名来验证数据提供设备的合法性，并在验证通过后将交易打包成区块并广播给其他节点。
[0021]可选地，所述数据设备具体用于：
[0022]数据请求设备根据数据设备的在线状态，从当前一轮训练中成功上传本地梯度且始终在线的数据设备中选择一部分数据设备，将所选择的数据设备上传的本地梯度采用下式在当前轮进行梯度聚合：
[0023][0024]其中，表示第t轮的平均梯度，S
t
表示数据请求设备在第t轮选择的数据设备的设备ID，g(W
i,t,σ
)表示第t轮加入高斯差分隐私的本地梯度。
[0025]可选地，所述区块链网络具体用于：
[0026]采用基于梯度熵的贡献评价模型评价数据请求设备所选择的数据设备的贡献，表示为：
[0027][0028]其中，C
i,t
表示第t轮中数据设备的贡献评价值，E
i,t
(g(W
i,t,σ
))表示第t轮中数据设备上传的本地梯度g(W
i,t,σ
)的信息量，S
t
表示数据请求设备在第t轮选择的数据设备的设备
ID。
[0029]可选地，所述区块链网络具体用于：
[0030]根据自聚合结果采用随机梯度算法对正常设备的全局模型进行更新，表示为：
[0031][0032]其中，W
t+1
表示更新后的全局模型参数，W
t
表示全局模型参数，η表示本轮学习率，表示第t轮的平均梯度。
[0033]可选地，所述区块链网络具体用于：
[0034]调用最新模型智能合约获取最新聚合结果和最新全局模型对临时设备的全局模型进行更新，表示为：
[0035]W
t+1
＝(1
‑
α
i
(t))W
i,old
+α
i
(t)W
new
[0036]其中，W
t+1
表示更新后的全局模型参数，α
i
(t)表示最新的权重系数，W
i,old
表示临时设备存储的最新的全局模型参数，W
new
表示本轮最新的全局模型参数。
[0037]一种应用于上述系统的基于区块链和联邦学习的四网融合数据共享方法，包括以下步骤：
[0038]S1、利用数据设备向证书颁发机构服务器发送设备注册请求；
[0039]S2、利用证书颁发机构服务器响应数据设备发送的设备注册请求，验证数据设备的身份并向验证通过的数据设备分发证书、公钥和密钥；
[0040]S3、利用数据设备根据获取的证书加入区块链网络；...

【技术保护点】

【技术特征摘要】
1.一种基于区块链和联邦学习的四网融合数据共享系统，其特征在于，包括：数据设备，用于向证书颁发机构服务器发送设备注册请求以获取颁发机构服务器分发的证书、公钥和密钥；根据获取的证书加入区块链网络，接收区块链网络发送的初始全局模型；利用本地数据集训练加入差分隐私的本地模型，并调用区块链网络中部署的智能合约上传本地梯度；证书颁发机构服务器，用于响应数据设备发送的设备注册请求，验证数据设备的身份并向验证通过的数据设备分发证书、公钥和密钥；区块链网络，由每台数据设备作为节点组成，并具有对新加入设备发送初始全局模型的责任；基于区块链与联邦学习相结合的方案，根据数据设备的在线状态动态选择贡献者，并根据数据设备上传的本地梯度触发自聚合智能合约和贡献评估智能合约；根据自聚合结果采用随机梯度算法对正常设备的全局模型进行更新，并记录共享行为；调用最新模型智能合约获取最新聚合结果和最新全局模型对临时设备的全局模型进行更新。2.根据权利要求1所述的一种基于区块链和联邦学习的四网融合数据共享系统，其特征在于，所述数据设备根据共享行为划分为数据请求设备和数据提供设备，其中向共享系统请求数据的设备为数据请求设备，响应数据请求的设备为数据提供设备；所述数据请求设备用于向共享系统发送数据请求，所述数据请求包括设备ID、请求有效时长、交易预算、加密的初始全局模型和请求状态信息；基于数据提供设备的响应信息根据交易预算选择其中的一部分交易，并向响应的数据提供设备发送Fabric通道配置，所述Fabric通道配置允许所有响应的数据提供设备加入相同的任务通道以形成一个临时协作组；所述数据提供设备用于对接收的数据请求设备发送的数据请求进行验证，并根据区块链网络上的记录搜索数据请求设备的历史记录，向数据请求设备发送响应信息，通过响应信息提出交易；所述响应信息包括设备ID、数据大小、本设备工作持续时间、计算能力和本设备的公钥信息。3.根据权利要求2所述的一种基于区块链和联邦学习的四网融合数据共享系统，其特征在于，所述数据设备具体用于：所述数据提供设备利用数据请求设备的公钥对区块链网络发送的初始全局模型进行解密，同时通过比较初始全局模型的Hash值，对初始全局模型进行验证，并对验证通过的初始全局模型进行训练；并且利用数据提供设备的本地数据集，在训练参数中加入高斯差分隐私，采用基于高斯差分隐私的联邦平均算法训练本地模型，并采用自适应裁剪方法训练联邦学习模型。4.根据权利要求2所述的一种基于区块链和联邦学习的四网融合数据共享系统，其特征在于，所述数据设备具体用于：数据提供设备采用下式计算本地梯度：其中，g
t
表示第t轮的本地梯度，L(W
i,t
,D
i
)表示，W
i,t
表示设备e
i
的在第t轮的基于本地数据集D
i
的本地模型参数；
并调用区块链网络中部署的带有数字签名的智能合约上传本地梯度；数据请求设备收到关于梯度的交易后，通过验证数字签名来验证数据提供设备的合法性，并在验证通过后将交易打包成区块并广播给其他节点。5.根据权利要求2所述的一种基于区块链和联邦学习的四网融合数据共享系统，其特征在于，所...

【专利技术属性】
技术研发人员：冯卫东，王爱丽，刘宇，耿欣，黎琳，常晓琳，鲁放，
申请(专利权)人：中国国家铁路集团有限公司，
类型：发明
国别省市：