一种基于硬件加速卡的联邦学习训练加速方法技术

本发明专利技术公开了一种基于硬件加速卡的联邦学习训练加速方法，在联邦学习训练过程中，首先采用梯度稀疏算法将不重要的梯度置零，再对所有梯度进一步量化；根据联邦学习训练状态动态调整梯度压缩策略，减少同态加密带来的计算和通信开销；基于优化后的同态加密算法，采用并发、协程、异步的方式将同态加密模幂运算卸载到QAT硬件加速卡，并采用事件驱动的机制实现硬件计算结果回收；采用QAT硬件加速卡Huffman编码处理有偏分布数据，进一步降低联邦学习训练过程中的通信开销。该方法实现了基于QAT硬件加速卡的同态加密联邦学习计算和通信开销联合优化，释放了昂贵的CPU通用计算能力，有效利用了硬件资源。

【技术实现步骤摘要】

本专利技术涉及机器学习，尤其涉及一种基于硬件加速卡的联邦学习训练加速方法。

技术介绍

1、随着人们对隐私保护和数据碎片化问题的认识日益提高，联邦学习已经成为机器学习的一种新型范式。联邦学习指的是拥有数据的各个参与方，在无需共享数据资源的前提下，通过各种隐私保护机制来保护中间传输数据(梯度)，进行密态数据下的联合训练从而协同优化共享的机器学习模型，实现多赢合作。在模型训练期间，各参与方仅上传加密的本地梯度更新到中心服务器进行梯度聚合然后将聚合结果反馈回各参与方完成一轮联邦学习训练，多轮训练后模型达到预定准确率即完成整个联邦学习训练，整个过程确保数据隐私、安全性，并降低数据传输风险，同时促进了模型的全局性改进。联邦学习的隐私保护手段包括多方安全计算(smpc)、差分隐私(dp)、同态加密(he)等，其中，同态加密在安全性和易用性之间取得了平衡——同态加密允许直接在密文上进行运算实现数据“可算不可见”，其中paillier算法作为加法同态加密算法在联邦学习中得到广泛应用：每个参与方上传paillier加密的本地梯度更新到中心服务器进行梯度聚合，然后将聚合结果反馈本文档来自技高网...

【技术保护点】

1.一种基于硬件加速卡的联邦学习训练加速方法，其特征在于，所述方法包括：

2.根据权利要求1所述基于硬件加速卡的联邦学习训练加速方法，其特征在于，所述步骤1的过程具体为：

3.根据权利要求1所述基于硬件加速卡的联邦学习训练加速方法，其特征在于，在步骤2中，

4.根据权利要求1所述基于硬件加速卡的联邦学习训练加速方法，其特征在于，在步骤3中，所采用的联邦学习同态加解密算法为Paillier算法，Paillier算法是一种加法同态加密系统，即只给定公钥和明文m1、m2的密文c1、c2，就能计算出m1+m2的密文，Paillier算法包括密钥生成算法、加密算...

【技术特征摘要】

1.一种基于硬件加速卡的联邦学习训练加速方法，其特征在于，所述方法包括：

2.根据权利要求1所述基于硬件加速卡的联邦学习训练加速方法，其特征在于，所述步骤1的过程具体为：

3.根据权利要求1所述基于硬件加速卡的联邦学习训练加速方法，其特征在于，在步骤2中，

4.根据权利要求1所述基于硬件加速卡的联邦学习训练加速方法，其特征在于，在步骤3中，所采用的联邦学习同态加解密算法为paillier算法，paillier算法是一种加法同态加密系统，即只给定公钥和明文m1、m2的密文c1、c2，就能计算出m1+m2的密文，pailli...

【专利技术属性】
技术研发人员：程凯，邹子扬，陈双武，杨锋，杨坚，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：