基于区块链的安全协作深度学习方法及装置制造方法及图纸

本发明专利技术公开了一种基于区块链的安全协作深度学习方法及装置，其中，该方法包括：允许一个全局参数服务器收集每轮训练中用户提交的模型参数并维护全局模型，同时每个用户利用自身拥有的验证数据集评估上传参数，并通过智能合约实现最优参数共识，最终由全局参数服务器聚合每轮训练中的最优参数，得到最终协作训练出的全局模型。由此，在允许用户之间在不公开隐私数据集的前提下进行协作训练，保护了彼此数据的隐私性，通过参数共享的方式让全局模型能够学习到所有数据源的特征，提高全局模型的准确率以及泛化能力。

Secure Collaborative Deep Learning Method and Device Based on Block Chain

【技术实现步骤摘要】
基于区块链的安全协作深度学习方法及装置
本专利技术涉及分布式机器学习
，特别涉及一种基于区块链的安全协作深度学习方法及装置。
技术介绍
深度学习作为机器学习的一个重要分支，在近十年的时间内发展迅速，但是受限于计算机的计算能力和算法本身存在梯度消失等问题，虽然深度学习在图像识别、声音识别和推荐系统等研究领域取得了巨大突破，但是深度学习训练过程中往往需要投入大量的训练数据，才能得到理想的训练结果。一些小型研究机构或者普通的研究人员，在特定的研究课题中，往往只拥有有限的训练数据，而数据集问题往往是限制其算法研究和模型设计的重要障碍之一。研究表明，深度模型的训练中，数据的特征反映在模型的参数改变量上，因此协作深度学习让不同用户之间通过参数共享的方式共享数据源特征，而不用直接将数据集公开。但是，协作深度学习中需要有合适的机制保障参数更新的最优化，防止恶意用户或者低质量数据源对全局模型产生负面影响。区块链可视为一个公开可信的分布式账本(或数据库)，许多区块依次连接构成链式的存储结构，并通过共识机制保证数据记录的一致性和不可篡改特性。区块链上的智能合约是存储在区块链上的一段自动执行的电子合同本文档来自技高网...

【技术保护点】
1.一种基于区块链的安全协作深度学习方法，其特征在于，包括以下步骤：S1，获取全局模型、最优参数改变量集合和评价矩阵，对所述全局模型的参数、所述最优参数改变量集合和所述评价矩阵进行初始化；S2，获取所述全局模型的下载指令，将所述下载指令发送至多个用户端以使所述多个用户端下载所述全局模型，每个用户端根据训练数据集对全局模型进行训练生成参数改变量集合，并按照预设的方法对所述参数改变量集合进行筛选；S3，将所述每个用户端筛选后的参数改变量集合的哈希值存入至区块链，生成对应的存储交易号码，将所述筛选后的参数改变量集合和对应的所述存储交易号码发送至所述每个用户端，以使所述每个用户端根据验证数据集对接收到...

【技术特征摘要】
1.一种基于区块链的安全协作深度学习方法，其特征在于，包括以下步骤：S1，获取全局模型、最优参数改变量集合和评价矩阵，对所述全局模型的参数、所述最优参数改变量集合和所述评价矩阵进行初始化；S2，获取所述全局模型的下载指令，将所述下载指令发送至多个用户端以使所述多个用户端下载所述全局模型，每个用户端根据训练数据集对全局模型进行训练生成参数改变量集合，并按照预设的方法对所述参数改变量集合进行筛选；S3，将所述每个用户端筛选后的参数改变量集合的哈希值存入至区块链，生成对应的存储交易号码，将所述筛选后的参数改变量集合和对应的所述存储交易号码发送至所述每个用户端，以使所述每个用户端根据验证数据集对接收到的所述筛选后的参数改变量集合和对应的所述存储交易号码进行验证和评估后生成用户端之间的多个评价值，将所述多个评价值存入所述区块链；S4，根据所述多个评价值对所述评价矩阵进行更新，根据更新后的评价矩阵和预设的区块链共识合约优选出所述最优参数改变量集合，根据所述最优参数改变量集合对所述全局模型进行更新；S5，迭代S2、S3和S4对所述全局模型进行更新，直至所述全局模型满足预设条件，结束迭代过程。2.根据权利要求1所述的方法，其特征在于，所述每个用户端根据训练数据集对所述全局模型进行训练生成参数改变量集合，并按照预设的方法对所述参数改变量集合进行筛选，包括：所述每个用户端根据本地的训练数据集对所述全局模型进行训练，并计算出所述参数改变量集合，公式为：Δθi＝θ′i-θi其中，θ′i为所述全局模型训练后的参数值，θi为所述全局模型训练前的参数值，Δθi为所述全局模型参数改变量；将所述参数改变量按照降序排列，筛选出变化量最大的一组参数，生成所述筛选后的参数改变量集合，公式为：其中，为参数改变量集合，γ为筛选参数比例，θg为所述全局模型的参数集合。3.根据权利要求1所述的方法，其特征在于，所述S2，还包括：所述每个用户端对所述筛选后的参数改变量集合附加时间戳并进行签名。4.根据权利要求1所述的方法，其特征在于，所述S3，还包括：所述每个用户端对接收到的所述筛选后的参数改变量集合进行验证；根据接收到的所述存储交易号码验证所述区块链上对应存储的所述筛选后的参数改变量集合的哈希值与接收到的所述筛选后的参数改变量集合是否一致。5.根据权利要求1所述的方法，其特征在于，S4进一步包括：根据用户端之间的所述多个评价值更新所述评价矩阵M；根据所述评价矩阵M和所述预设的区块链共识合约优选出最优参数的用户端集合获取所述最优参数的用户端集合对应的所述最优参数改变量集合，根据所述最优参数改变量集合对所述全局模型进行更新，具体步骤为：记Mi，：为第i个用户端对其它用户端的所有评价值，降序排列Mi，：，记为根据在中的排列位置，第j个用户端的得分为：其中，m为总参与用户端个数，pj为第j个用户端在中的位置，第j个用户端的总分为：其中，ui为第i个用户端，为所有用户端集合，s(j；ui)为第j个用户端在ui的评价下所得分数，基于总得分，所述最优参数的用户端集合：6.一种基于区块链的安全协...

【专利技术属性】
技术研发人员：徐恪，张智超，吴波，李琦，徐松松，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11